人工智能 (AI) 和通用人工智能 (AGI) 的潜力和可能的缺点最近被广泛讨论，这主要是由于开放人工智能等大型语言模型的进步。
本文的其余部分位于付费墙后面。请登录或订阅以访问完整内容。
一些业内人士甚至呼吁暂停人工智能研究，甚至，引用了如果我们在找到限制其影响和控制其目标的方法之前就梦游般创造出超级智能，人类可能面临的生存风险。
虽然你可能会想象一个人工智能在发现我们的视频后一心要毁灭人类推搡牛津大学人类未来研究所的一位哲学家和领导人普遍欺负波士顿动力机器人，他认为我们的灭亡可能来自更简单的人工智能；一种设计用于制造回形针的产品。
尼克·博斯特罗姆，因以及他在人工智能和人工智能伦理方面的工作，提出了一个场景，其中高级人工智能的简单目标是制作尽可能多的回形针。虽然这看起来似乎是一个无害的目标（博斯特罗姆选择这个例子是因为这个目标看起来很无辜），但他解释了这个非具体目标如何导致老式的人工智能末日。
“人工智能很快就会意识到，如果没有人类，情况会好得多，因为人类可能会决定将其关闭，”他解释道。赫芬顿邮报2014年。“因为如果人类这样做，回形针就会更少。而且，人体含有大量可以制成回形针的原子。人工智能试图实现的未来将是一个有很多回形针但没有人类的未来。”
给出的例子是为了展示一个微不足道的目标如何导致意想不到的后果，但博斯特罗姆表示，它延伸到所有人工智能给定的目标，而对其行为没有适当的控制，并补充说“重点是它的行为将不顾人类福祉”。
这是戏剧性的结果，但博斯特罗姆提出的另一种可能性是我们走出了马的道路。
“马最初是由马车和犁作为补充，这大大提高了马的生产力。后来，马被汽车和拖拉机取代，”他写了在他的书中超级智能：路径、危险、策略。 “当马不再作为劳动力来源时，许多马被卖给肉类加工商，加工成狗粮、骨粉、皮革和胶水。1915 年，美国大约有 2600 万匹马。到 1950 年代初，只剩下 200 万匹马。”
早在 2003 年，Bostrom 就提出了一个有先见之明的想法：人工智能可能会因为试图为特定群体（而不是整个人类）服务而出错，比如回形针制造商或人工智能的任何“所有者”。
“发展超级人工智能的风险包括未能赋予其慈善事业的超级目标的风险。发生这种情况的一种方式是，超级人工智能的创造者决定构建它，使其只为特定的人类群体服务，而不是为整个人类服务，”他在他的文章中写道。网站。 “导致这种情况发生的另一种方式是，一个善意的程序员团队在设计其目标系统时犯了一个大错误。”
“回到前面的例子，这可能会导致超级智能的最高目标是制造回形针，其结果是它首先开始改造整个地球，然后将部分空间增加到回形针制造设施中。更微妙的是，它可能会导致超级智能实现一种我们现在可能认为理想的状态，但实际上它是一个虚假的乌托邦，其中对人类繁荣至关重要的东西已经不可逆转地丢失了。我们需要小心我们希望从超级智能那里得到什么，因为我们可能会得到它。”
