Eliezer Yudkowsky，43 岁，领导研究机器智能研究院MIRI（MIRI）是一家专门从事人工智能的非营利协会，其目标是提高人们对未来人工智能的危险和潜在利益的认识。如果人工智能继续以这样的速度发展，它将为人类的未来描绘出一幅黯淡的图景。
在没有意识到的情况下跨越了关键线
尽管数百名科学家呼吁至少休息六个月在人工智能研究中，尤德科斯基邀请该领域的领导者和专家无限期地停止一切，否则他们将跨越一个关键阈值，超过这个阈值就不可能回头。对于美国研究人员来说，“研究实验室完全有可能在没有意识到的情况下跨越临界线”。
他认为，这条“临界线”的代表是具有超人智能的人工智能的开发者，在当前情况下，这将导致人类的终结。对于尤德科夫斯基来说，完全有可能通过创造比我们聪明得多的东西来生存，但这需要“精确、准备和新的科学知识”我们目前还没有。
“如果没有这种精确性和准备，最有可能的结果是人工智能不会做我们想做的事，也不关心我们或一般的有感知的生命。 »
为了说明人类将面临的处境，科学家使用了几个比喻。其中两个是“南方古猿试图对抗智人»等“11世纪试图对抗21世纪”。
敌对的超人人工智能可能不会仅限于计算机。 Yudkowsky 指出，现在可以通过电子邮件将 DNA 字符串发送到实验室，实验室将按需生产蛋白质，从而使人工智能能够创造人工生命形式。
“如果有人构建了过于强大的人工智能，在目前的条件下，我预计人类的每个成员和地球上的所有生物都会在不久之后死亡。 »
缺乏计划
Eliezer Yudkowsky 还指出，如果这种情况发生，人工智能背后的公司缺乏计划。
“OpenAI 公开表示的意图是让未来的人工智能来做我们的人工智能调整作业。光是听到这个计划就足以让任何一个理智的人感到恐慌。另一个大型人工智能实验室 DeepMind 还没有计划。 »
虽然他承认当前的人工智能可能只是模仿训练数据中的自我意识，但他也指出我们对这些系统内部组件的信息非常少。这个状态《无知》据他说，如果 ChatGPT-5 实现了与GPT-3 和 GPT-4 之间观察到的结果。
“如果你不能确定是否能创造出具有自我意识的人工智能，那么这令人担忧，不仅因为道德影响，还因为不确定意味着你不知道自己在做什么。这很危险，你应该停下来。 »
OpenAI 的首席执行官本人表示，他已经“有点害怕”，同时回忆起它仍然“人类控制的工具”。对于尤德科夫斯基来说，解决超人智能的安全问题至少需要30年的时间。对于研究人员来说，人工智能的暂停必须是无限期的、全球性的，没有任何例外，包括政府或军队。
“我们无法及时做好准备。没有计划。人工智能能力的进步远远领先于人工智能协调的进步，甚至领先于理解这些系统内部发生的事情的进步。如果我们这样做，我们都会死。关闭一切。 »
来源 ： 时间
