Eliezer Yudkowsky，43 歲，領導研究機器智能研究院MIRI（MIRI）是一家專門從事人工智慧的非營利協會，其目標是提高人們對未來人工智慧的危險和潛在利益的認識。如果人工智慧繼續以這樣的速度發展，它將為人類的未來描繪出一幅黯淡的圖景。
在沒有意識到的情況下跨越了關鍵線
儘管數百名科學家呼籲至少休息六個月在人工智慧研究中，尤德科斯基邀請該領域的領導者和專家無限期地停止一切，否則他們將跨越一個關鍵閾值，超過這個閾值就不可能回頭。對美國研究人員來說，“研究實驗室完全有可能在沒有意識到的情況下跨越臨界線”。
他認為，這條「臨界線」的代表是具有超人智慧的人工智慧的開發者，在當前情況下，這將導致人類的終結。對於尤德科夫斯基來說，完全有可能透過創造比我們聰明得多的東西來生存，但這需要“精確、準備和新的科學知識”我們目前還沒有。
「如果沒有這種精確性和準備，最有可能的結果是人工智慧不會做我們想做的事，也不關心我們或一般的有感知的生命。 »
為了說明人類將面臨的處境，科學家使用了幾個比喻。其中兩個是「南方古猿試圖對抗智人»等“11世紀試圖對抗21世紀”。
敵對的超人人工智慧可能不會被限制在電腦上。 Yudkowsky 指出，現在可以透過電子郵件將 DNA 字串發送到實驗室，實驗室將按需生產蛋白質，從而使人工智慧能夠創造人工生命形式。
「如果有人建構了過於強大的人工智慧，在目前的條件下，我預計人類的每個成員和地球上的所有生物都會在不久之後死亡。 »
缺乏計劃
Eliezer Yudkowsky 也指出，如果這種情況發生，人工智慧背後的公司缺乏計劃。
「OpenAI 公開表示的意圖是讓未來的人工智慧來做我們的人工智慧調整作業。光是聽到這個計劃就足以讓任何一個理智的人感到恐慌。另一個大型人工智慧實驗室 DeepMind 還沒有計劃。 »
雖然他承認目前的人工智慧可能只是模仿訓練資料中的自我意識，但他也指出我們對這些系統內部組件的資訊非常少。這種狀態《無知》據他說，如果 ChatGPT-5 實現了與GPT-3 和 GPT-4 之間觀察到的結果。
「如果你不能確定是否能創造出具有自我意識的人工智慧，那麼這令人擔憂，不僅因為道德影響，還因為不確定意味著你不知道自己在做什麼。這很危險，你應該停下來。 »
OpenAI 的執行長本人表示，他已經“有點害怕”，同時回憶起它仍然“人類控制的工具”。對尤德科夫斯基來說，解決超人智慧的安全問題至少需要30年的時間。對研究人員來說，人工智慧的暫停必須是無限期的、全球性的，沒有任何例外，包括政府或軍隊。
“我們無法及時做好準備。沒有計劃。人工智慧能力的進步遠遠領先於人工智慧協調的進步，甚至領先於理解這些系統內部發生的事情的進步。如果我們這樣做，我們都會死。關閉一切。 »
來源 ： 時間
