的想法人工智能推翻人类已经被谈论了很多年几十年，2021 年 1 月，科学家们就我们是否能够控制高级计算机超级智能做出了裁决。答案是什么呢？几乎肯定不是。
问题在于，控制远远超出人类理解范围的超级智能需要对我们可以分析的超级智能进行模拟。但如果我们无法理解它，就不可能创建这样的模拟。
2021 年论文的作者表示，如果我们不了解人工智能将提出什么样的场景，就无法制定“不对人类造成伤害”等规则。一旦计算机系统的工作水平超出了我们程序员的范围，我们就无法再设置限制。
“超级智能提出了一个与通常在‘机器人伦理’旗帜下研究的问题根本不同的问题，”研究人员写道。
“这是因为超级智能是多方面的，因此有可能调动各种资源来实现人类可能无法理解的目标，更不用说可控的了。”
该团队的部分推理来自于停止问题由阿兰·图灵于 1936 年提出。问题的中心是知道计算机程序是否会得出结论和答案（因此它会停止），或者只是永远循环地试图找到一个。
正如图灵通过一些证明聪明的数学，虽然我们可以知道对于某些特定的程序，但逻辑上不可能找到一种方法让我们知道对于每个可能编写的潜在程序。这让我们回到了人工智能，在超级智能状态下，人工智能可以同时将所有可能的计算机程序保存在内存中。
例如，任何旨在阻止人工智能伤害人类和毁灭世界的程序都可能得出结论（并停止），也可能不得出结论——从数学上来说，我们不可能绝对确定这两种情况，这意味着它是不可遏制的。
“实际上，这使得遏制算法无法使用，”计算机科学家 Iyad Rahwan 说道，一月份来自德国马克斯普朗克人类发展研究所。
研究人员表示，除了向人工智能传授一些道德规范并告诉它不要毁灭世界（没有算法可以绝对肯定会做到这一点）之外，另一种选择是限制超级智能的能力。例如，它可能会与部分互联网或某些网络断开。
最近的研究也拒绝了这一想法，表明这将限制– 争论的焦点是，如果我们不打算用它来解决超出人类范围的问题，那么为什么要创造它呢？
如果我们要推进人工智能，我们甚至可能不知道我们无法控制的超级智能何时到来，这就是它的不可理解性。这意味着我们需要开始询问一些严肃的问题关于我们要去的方向。
“控制世界的超级智能机器听起来像科幻小说，”计算机科学家曼努埃尔·塞布里安说，来自马克斯·普朗克人类发展研究所。 “但是已经有机器可以独立执行某些重要任务，而程序员却无法完全理解他们是如何学习的。”
“因此出现的问题是，这是否会在某个时候变得无法控制并对人类造成危险。”
该研究发表在人工智能研究杂志。
本文的一个版本于 2021 年 1 月首次发布。
