片段

科學家製造了一部超級電腦。最後的步驟就是為它輸入指令。共有三項：第一，不要令人類受到傷害；第二，服從人類的指令；第三，維護自己的存在。

百度百科

分析

這裏倒不是討論指令本身，而是想說邏輯運作只能將一堆數據歸納為簡單可用的等同(equivalent)結論。 至於之後揀選哪個選項，就需要額外的價值觀輸入。就算是弈棋電腦也隱含了一個價值觀：要贏。那麼人除了邏輯思維之外應該也有一套價值觀。最基本的應該是『減除痛苦』。大家能想像層次高些的那些指令嗎？

By