的想法人工智能推翻人类已经被谈论了很多年几十年？ ChatGPT 等程序有。
那么我们能够控制高级计算机超级智能的可能性有多大呢？ 早在 2021 年，科学家们就对这些数据进行了分析。 答案？ 几乎肯定不是。
问题在于，控制远远超出人类理解范围的超级智能需要对我们可以分析的超级智能进行模拟。 但如果我们无法理解它，就不可能创建这样的模拟。
该论文的作者表示，如果我们不了解人工智能将提出什么样的场景，就无法制定“不对人类造成伤害”之类的规则。 一旦计算机系统的工作水平超出了我们程序员的范围，我们就无法再设置限制。
“超级智能提出了一个与通常在‘机器人伦理’旗帜下研究的问题根本不同的问题，”研究人员写道时间回到 2021 年。
“这是因为超级智能是多方面的，因此有可能调动各种资源来实现人类可能无法理解的目标，更不用说可控的了。”
该团队的部分推理来自于停止问题由阿兰·图灵于 1936 年提出。问题的中心是知道计算机程序是否会得出结论和答案（因此它会停止），或者只是永远循环地试图找到一个。
正如图灵通过一些证明聪明的数学，虽然我们可以知道对于某些特定的程序，但逻辑上不可能找到一种方法让我们知道每个可以编写的潜在程序。
这让我们回到了人工智能，在超级智能状态下，人工智能可以同时将所有可能的计算机程序保存在内存中。
例如，任何旨在阻止人工智能伤害人类和毁灭世界的程序可能会得出结论（并停止），也可能不会？ 从数学上来说，我们不可能绝对确定这两种情况，这意味着它是不可收容的。
“实际上，这使得遏制算法无法使用，”计算机科学家 Iyad Rahwan 说道，来自德国马克斯普朗克人类发展研究所。
除了教人工智能一些道德并告诉它不要毁灭世界之外，还有什么选择吗？ 研究人员说，没有算法可以绝对肯定会做一些事情？ 就是限制超级智能的能力。 例如，它可能会与部分互联网或某些网络断开。
2021 年的研究也拒绝了这一想法，表明这将限制？ 争论的焦点是，如果我们不打算用它来解决超出人类范围的问题，那么为什么要创造它呢？
如果我们要推进人工智能，我们甚至可能不知道我们无法控制的超级智能何时到来，这就是它的不可理解性。 这意味着我们需要开始询问一些严肃的问题关于我们要去的方向。
实际上，科技巨头包括苹果联合创始人史蒂夫·沃兹尼亚克签署了一封公开信，要求人类暂停人工智能研究至少 6 个月，以便探索其安全性。
“具有人类竞争情报的人工智能系统可能会给社会和人类带来深远的风险，” 打开信封 标题为“暂停巨型人工智能实验”。
报告称：“只有当我们确信其效果将是积极的且风险可控时，才应该开发强大的人工智能系统。”
该研究发表在人工智能研究杂志2021 年 1 月。
本文的一个版本于 2021 年 1 月首次发布。此后进行了更新，以反映 2023 年人工智能的进展。
