人工智能被要求生产回形针，最终可能会毁灭人类

人工智能 (AI) 和通用人工智能 (AGI) 的潜在和可能的缺点最近被广泛讨论，这主要是由于 Open AI 等大型语言模型的进步。

一些业内人士甚至呼吁暂停人工智能研究，甚至指出，如果我们在找到限制超级智能的影响和控制其目标的方法之前就盲目地创造出超级智能，那么人类的生存可能会面临风险。

你可能会想象人工智能在发现了我们的视频后会不顾一切地毁灭人类推搡并且普遍欺负波士顿动力机器人，牛津大学人类未来研究所的一位哲学家和领导人认为，我们的灭亡可能来自一种更简单的人工智能；一种设计用于制造回形针的人工智能。

尼克·博斯特罗姆，因以及他在人工智能和人工智能伦理方面的工作，他提出了这样一种场景，其中高级人工智能被赋予了一个简单的目标，即尽可能多地制作回形针。虽然这似乎是一个无害的目标（Bostrom 选择这个例子是因为这个目标看起来很无害），但他解释了这个不明确的目标如何导致一场老式的令人头疼的人工智能大灾难。

他解释说：“人工智能很快就会意识到，如果没有人类，情况会好得多，因为人类可能会决定关闭它。”赫芬顿邮报2014 年。“因为如果人类这样做，回形针的数量就会减少。而且，人体含有大量可以制成回形针的原子。人工智能试图走向的未来将是回形针很多，但没有人类。”

所举的例子意在说明一个微不足道的目标如何会导致意想不到的后果，但博斯特罗姆表示，这个例子适用于所有没有对其行为进行适当控制的人工智能既定目标，并补充说“关键在于它的行为不会顾及人类的福祉”。

这是最戏剧性的一幕，但博斯特罗姆提出的另一种可能性是，我们走出了马的轨道。

“最初马车和犁是马的补充，这大大提高了马的生产力。后来，马被汽车和拖拉机所取代，”他写道在他的书中超级智能：路径、危险、策略“当马不再是一种劳动力来源时，许多马被卖给肉类加工商，加工成狗粮、骨粉、皮革和胶水。1915 年，美国有大约 2600 万匹马。到 20 世纪 50 年代初，只剩下 200 万匹。”

博斯特罗姆在 2003 年就提出了一个有先见之明的想法，即人工智能如果试图服务特定群体（比如回形针制造商或人工智能的任何“所有者”）而不是整个人类，可能会出错。

“开发超级智能的风险包括无法赋予它慈善的超级目标的风险。发生这种情况的一种方式是，超级智能的创造者决定将其构建为只服务于这一特定群体，而不是整个人类，”他在自己的文章中写道网站“发生这种情况的另一种情况是，一个好心的程序员团队在设计其目标系统时犯了一个大错误。”

“回到前面的例子，这可能会导致超级智能的出现，其首要目标是制造回形针，其结果是它开始将整个地球，然后将越来越多的太空部分改造成回形针制造设施。更微妙的是，这可能会导致超级智能实现一种我们现在可能认为是理想的状态，但事实上这是一个虚假的乌托邦，其中人类繁荣所必需的东西已经不可逆转地丢失。我们需要谨慎对待我们对超级智能的期望，因为我们可能会得到它。”