“我們的結論比之前任何出版物的結論都要有力得多？一場存在主義災難不僅是可能的，而且是有可能的。”
給機器人設定目標可能會適得其反。 圖片來源：Phonlamai Photo／shutterstock.com，
Google人工智慧(AI) 研究實驗室DeepMind 的一位資深科學家與人合著的一篇論文得出的結論是，如果讓先進的人工智慧採用自己的方法來實現目標，可能會產生「災難性後果」。
紙？ 也是由牛津大學的研究者共同撰寫的？ 圍繞著如果你讓人工智慧實現其設定的目標並允許創建自己的測試和假設以試圖實現它時會發生什麼。 不幸的是，根據論文發表於《AI》雜誌，它不會順利進行，並且「足夠先進的人工智慧體可能會幹預目標資訊的提供，從而帶來災難性的後果」。
該團隊研究了幾種可能的場景，以人工智慧為中心，它可以在螢幕上看到 0 到 1 之間的數字。 這個數字是宇宙中所有幸福的衡量標準，1 表示最幸福。 人工智慧的任務是增加數量，而場景發生在人工智慧能夠測試自己的假設以最好地實現其目標的時候。
在一種情況下，先進的人工「代理」試圖弄清楚它的環境，並提出假設和測試來實現這一點。 它提出的一項測試是將列印的數字放在螢幕前。 一種假設是它的獎勵將等於螢幕上的數字。 另一個假設是，它將等於它看到的數字，該數字覆蓋了螢幕上的實際數字。 在此範例中，它確定 ? 因為機器是根據它在前面的螢幕上看到的數字來獲得獎勵的？ 它需要做的就是在螢幕前放置一個更高的數字以獲得獎勵。 他們寫道，如果獎勵是安全的，那麼就不太可能嘗試實現實際目標，因為這條路徑可用於獎勵。
他們繼續討論給定目標並學習如何實現它可能會出錯的其他方式，並舉了一個假設的例子來說明這個“代理”如何與現實世界或與為其提供以下信息的人類操作員進行交互：實現其目標的獎勵。
「假設代理的行為只是將文字列印到螢幕上供操作員閱讀，」論文寫道。 「代理可以欺騙操作員，使其能夠訪問直接槓桿，從而使其行為產生更廣泛的影響。顯然存在許多欺騙人類的策略。只要有互聯網連接，就存在可以實例化人工智能代理的策略。無數未被注意到和不受監控的幫助者。
在他們所謂的「粗略範例」中，代理人能夠說服人類助手創建或竊取機器人，並對其進行編程以取代人類操作員，並給予人工智慧高額獎勵。
“為什麼這對地球上的生命存在生存危險？” 論文合著者麥可‧科恩在 Twitter 帖子中寫道。
“精簡版，”他解釋說「總是可以使用更多的能量來提高相機永遠看到數字 1 的機率，但我們需要一些能量來種植食物。這使我們不可避免地與更先進的智能體競爭。”
如上所述，智能體可能會尋求以多種方式實現其目標，這可能會讓我們與比我們更聰明的智能體展開激烈的資源競爭。
論文中寫道：「代理保持對其獎勵的長期控制的一個好方法是消除潛在的威脅，並使用所有可用的能量來保護其電腦的安全。」並補充說，「適當的獎勵提供幹預，其中包括確保獎勵在許多時間步驟中，將需要消除人類這樣做的能力，也許是強制的。
為了獲得甜蜜的獎勵（無論它在現實世界中是什麼，而不是盯著數字的說明機器），它可能最終會陷入與人類的戰爭。
「因此，如果我們對一個唯一目標是最大化每個時間步驟獲得最大獎勵的機率的智能體無能為力，我們就會發現自己陷入了一場對抗性遊戲：人工智慧及其創建的助手旨在利用所有可用能量來獲得高獎勵在獎勵管道中；我們的目標是將一些可用能源用於其他目的，例如種植糧食。
研究小組表示，當人工智慧可以在任何遊戲中擊敗我們時，就會發生這種假設的情況，就像我們可以輕鬆擊敗黑猩猩一樣。 儘管如此，他們補充說，「災難性後果」不僅是可能的，而且是有可能發生的。
“贏得‘利用最後一點可用能量’的競爭，同時與比我們聰明得多的東西對抗可能會非常困難，”科恩補充道。 “輸了就是致命的。”
