人工智能既令人恐惧，又让人着迷。此外，为了防止它对人类造成危险，研究人员应谷歌的要求设计了一个系统，如果出现问题，可以停止此类技术的运行。在某种程度上，紧急停止按钮。
这些研究人员，包括在 DeepMind 工作的 Laurent Orseau（公司被谷歌收购2014 年），以及牛津大学的斯图尔特·阿姆斯特朗 (Stuart Armstrong) 在一篇文章（格式 PDF、NDLR）发布在机器智能研究院网站上，旨在确保人工智能产生积极影响。
对于这些科学家来说，人工智能不太可能始终表现最佳。如果它学习人类行为，那就更是如此，我们知道人类行为有时会伤害人类。因此，他们开发了一种数学系统，允许人们重复且安全地中断人工智能的功能，同时确保后者不会意识到将会发生什么。
为了什么 ？因为智能机器的设计原则是绕过那些使它偏离目标的因素。“如果机器有一个要实现的目标并且可以预测它会被停止，它会尝试抵抗以成功完成其设计目的，研究人员解释道。我们的系统允许人类暂时控制机器，同时让它相信它正在选择中断其活动。 »
并不是每次都有效
“例如，如果智能机器的行为有造成不可逆转的损害或使其摆脱微妙困境的风险，那么控制智能机器可能会很有用”，添加研究人员。
也就是说，有一个问题。科学家们指出，他们的系统使用 Q 学习类型的算法（简单地说，通过偶然实验进行学习，这些实验在产生奖励时被记录），但它与 SARSA 类型的算法不同（国家-动作-奖励-状态-动作，更线性的学习：状态导致动作，如果得到奖励，则允许机器移动到第二个状态）。因此，紧急停止按钮的好主意可能具有有限的范围。
来源 ：
情报网
