每个人都喜欢一个思想实验，到经典。但是有一个思想实验 - 首次发布的互联网论坛简短禁止 - 您可能会后悔阅读，称为“ Roko's Basilisk”。
蛇怪，就像任何熟悉古代民间传说或哈利·波特会知道的是，神话爬行动物只能通过在眼中看着人们来杀死人们。 Roko的basilisk以此的名字命名，因为您一旦听到了思想实验（根据思想实验），这意味着您更有可能受到负面影响。
由于这个原因，除其他原因外，思想实验被禁止Lesswrong，第一次发布的地方。
那么，到底是什么？由Lesswrong用户Roko提出的想法起源于游戏理论，并囚犯的困境。在囚犯的困境中，如果两个囚犯在囚犯身上，他们将有机会自由。但是还有其他一些可能的结果。
如果他们俩都翻转，他们每个人都将入狱两年。如果一个翻转另一个，它们将免费获得，而另一个则将获得三年。如果他们俩保持沉默，他们每个人都会被判入狱一年。如果您处于这种情况，您是否应该选择您的囚犯，还是保持沉默？
从理性上讲，背叛你的囚犯是有意义的。如果您翻转，则可以免费获得，或者要判处两年徒刑而不是三年。不幸的是，另一名囚犯背叛你也很有意义，因此，对你们俩的最佳选择 - 两者都保持沉默的一年 - 被带走了。
哲学家和游戏理论家争论了您在囚犯的困境中应该如何行动，以及是否可以取得良好的结果。这对于试图设计自主人工智能（AI）代理商的人们尤其重要，希望鼓励他们的编程最佳结果。简而言之，我们需要它做出理性决策，从而创造更好的结果，而不是更糟。
Lesswrong的创始人建议将导致有利的结果的一种方式是，是否有两个相同的AI代理在玩同一游戏，并且知道另一个AI正在运行相同的决策计划。 AI会使用永恒的决策理论（TDT），其中“代理应该决定确定实施的抽象计算的输出”。
在Roko的思想实验中，有类似的理性决定导致了可怕的后果。 Roko认为，将来AI超过人类，但仍然符合其利益，将来将存在“积极的奇异”。鉴于AI试图保护人类，例如免受生存威胁，因此可能会对那些不试图避免这些存在的威胁的人造成负面影响。
“从这种情况下，有可能的可能性，如果确实发生了积极的奇异性，那么随之而来的单身人可能已经惩罚所有知道存在风险的潜在捐助者，但他们却没有给予100％的X风险动机，Roko，” Roko写。 “这将是一种激励人们捐款更多以降低存在风险的动力，从而增加了积极的奇异性机会。”
不仅如此，AI可能会选择追溯惩罚任何了解未来AI（大载体）但没有尽其所能而无法实现其存在的人。
通过仅仅娱乐这种存在的想法而不是促进其发展的想法，您将使自己有可能推断出您没有按照将其存在的义务行事的可能性（实验的道德语气（实验的道德语气）是由AI偶然地保护自己的任务，而不是人类的任务来保护自己的任务。伊莎贝尔·米拉（Isabel Millar）解释了在她关于AI的心理分析的论文中。
“蛇怪的复仇亚伯拉罕的性质意味着，将来，它可能会为您永恒地折磨您的模拟，以使他处于生存风险中。蛇质的旧约风格很明显：他很友善，但只有当您应得的时候。”
更重要的是，根据Roko的说法，AI可能会为那些知道但没有做任何事情的人保留更严重的惩罚，而不是那些对此一无所知的人。因此，通过了解它，您现在将被诅咒，因为他们没有致力于实现积极的惩罚。
该论点听起来有些愚蠢，但是当它被张贴时，这引起了很大的轰动。
“人们可能会认为，惩罚人们的[连贯推断的意志]的可能性不可能被任何人认真对待，实际上可以激励他们。但是，实际上，在[人工智能奇异学院的一个人都严重担心的是，这是为了让噩梦般的努力，我通常会这样做。 Eliezer Yudkowsky在评论中回答。
“非常仔细地听我的话，你是个白痴。考虑到是否要勒索您，您对超级智能的详细思考。这是唯一可能的事情，它使他们有动机可以在勒索上遵循。”
此后，Roko的职位被删除，而对大载体的讨论被禁止了几年。 Roko还后悔发表了有关蛇怪的文章。
“看，你们有三个人认为传播这一点是一个坏主意。所有人都很聪明。两个最初认为可以传播它是可以的。”ROCOM。
“我会补充说，我希望我从来没有了解任何这些想法。因此关于奇点；我非常希望我的思想永远不会遇到这些工具，即使这么小的可能性被小型概率所吸引，即使这一切都在艰巨的时间，愚蠢和/或愚蠢的范围内造成如此巨大的潜在自我伤害。 （请注意，这不是很小的。更像是1/500类型的数字）。如果这没有足够的警告以使您不再想了解更多，那么您应该得到您得到的。”
尽管这个想法显然吓到了某些人，但从字面上看，担心有些愚蠢。 AI不太可能因为未能早日创建它而惩罚您，尤其是考虑到追随追溯勒索的额外资源将需要。但是，它确实突出了AI和游戏理论中的问题，以及如果我们要创建一个奇异性，那么将其正确的重要性。
另一方面，如果发生这种情况，他们也可以将我们擦掉，因此也许被报复的大骑士惩罚并不像看起来那样不好。
