被要求生產回形針的人工智慧最終會如何消滅人類

人工智慧 (AI) 和通用人工智慧 (AGI) 的潛力和可能的缺點最近被廣泛討論，這主要是由於開放人工智慧等大型語言模型的進步。

一些業內人士甚至呼籲暫停人工智慧研究，甚至，引用瞭如果我們在找到限制其影響和控制其目標的方法之前就夢遊般創造出超級智能，人類可能面臨的生存風險。

雖然你可能會想像一個人工智慧在發現我們的影片後一心要毀滅人類推搡牛津大學人類未來研究所的一位哲學家和領導人普遍欺負波士頓動力機器人，他認為我們的滅亡可能來自更簡單的人工智慧； 一種設計用於製造回形針的產品。

尼克·博斯特羅姆，因以及他在人工智慧和人工智慧倫理方面的工作，提出了一個場景，其中高級人工智慧的簡單目標是製作盡可能多的迴紋針。 雖然這看起來似乎是一個無害的目標（博斯特羅姆選擇這個例子是因為這個目標看起來很無辜），但他解釋了這個非具體目標如何導致老式的人工智慧末日。

「人工智慧很快就會意識到，如果沒有人類，情況會好得多，因為人類可能會決定將其關閉，」他解釋道。赫芬頓郵報2014年。

給出的例子是為了展示一個微不足道的目標如何導致意想不到的後果，但博斯特羅姆表示，它延伸到所有人工智慧給定的目標，而對其行為沒有適當的控制，並補充說“重點是它的行為將不顧人類福祉」。

這是戲劇性的結果，但博斯特羅姆提出的另一種可能性是我們走出了馬的道路。

「馬最初是由馬車和犁作為補充，這大大提高了馬的生產力。後來，馬被汽車和拖拉機取代了，」他寫道在他的書中超級智慧：路徑、危險、策略。 「當馬不再作為勞動力來源時，許多馬被賣給肉類加工商，加工成狗糧、骨粉、皮革和膠水。1915 年，美國大約有 2600 萬匹馬。到 1950 年代初，還剩下200萬。

早在 2003 年，Bostrom 就提出了一個有先見之明的想法：人工智慧可能會因為試圖為特定群體（而不是整個人類）服務而出錯，例如回形針製造商或人工智慧的任何「所有者」。

「發展超級智慧的風險包括未能賦予其慈善事業超級目標的風險。發生這種情況的一種方式是，超級智慧的創造者決定建構它，使其只為選定的人類群體服務，而不是為人類服務。網站。 “導致這種情況發生的另一種方式是，一個善意的程式設計師團隊在設計其目標系統時犯了一個大錯誤。”

「回到前面的例子，這可能會導致超級智慧的最高目標是製造回形針，結果是它開始首先改變整個地球，然後將部分太空變成回形針製造設施。更微妙的是，它可能會導致超級智慧實現一種我們現在可能認為是理想的狀態，但事實上它是一個虛假的烏托邦，其中對人類繁榮至關重要的東西已經不可逆轉地丟失了，我們需要對我們的願望保持謹慎。智能，因為我們可能會得到它。