每個人都喜歡一個思想實驗，到經典。但是有一個思想實驗 - 首次發布的互聯網論壇簡短禁止 - 您可能會後悔閱讀，稱為“ Roko's Basilisk”。
蛇怪，就像任何熟悉古代民間傳說或哈利·波特會知道的是，神話爬行動物只能通過在眼中看著人們來殺死人們。 Roko的basilisk以此的名字命名，因為您一旦聽到了思想實驗（根據思想實驗），這意味著您更有可能受到負面影響。
由於這個原因，除其他原因外，思想實驗被禁止Lesswrong，第一次發布的地方。
那麼，到底是什麼？由Lesswrong用戶Roko提出的想法起源於遊戲理論，並囚犯的困境。在囚犯的困境中，如果兩個囚犯在囚犯身上，他們將有機會自由。但是還有其他一些可能的結果。
如果他們倆都翻轉，他們每個人都將入獄兩年。如果一個翻轉另一個，它們將免費獲得，而另一個則將獲得三年。如果他們倆保持沉默，他們每個人都會被判入獄一年。如果您處於這種情況，您是否應該選擇您的囚犯，還是保持沉默？
從理性上講，背叛你的囚犯是有意義的。如果您翻轉，則可以免費獲得，或者要判處兩年徒刑而不是三年。不幸的是，另一名囚犯背叛你也很有意義，因此，對你們倆的最佳選擇 - 兩者都保持沉默的一年 - 被帶走了。
哲學家和遊戲理論家爭論了您在囚犯的困境中應該如何行動，以及是否可以取得良好的結果。這對於試圖設計自主人工智能（AI）代理商的人們尤其重要，希望鼓勵他們的編程最佳結果。簡而言之，我們需要它做出理性決策，從而創造更好的結果，而不是更糟。
Lesswrong的創始人建議將導致有利的結果的一種方式是，是否有兩個相同的AI代理在玩同一遊戲，並且知道另一個AI正在運行相同的決策計劃。 AI會使用永恆的決策理論（TDT），其中“代理應該決定確定實施的抽象計算的輸出”。
在Roko的思想實驗中，有類似的理性決定導致了可怕的後果。 Roko認為，將來AI超過人類，但仍然符合其利益，將來將存在“積極的奇異”。鑑於AI試圖保護人類，例如免受生存威脅，因此可能會對那些不試圖避免這些存在的威脅的人造成負面影響。
“從這種情況下，有可能的可能性，如果確實發生了積極的奇異性，那麼隨之而來的單身人可能已經懲罰所有知道存在風險的潛在捐助者，但他們卻沒有給予100％的X風險動機，Roko，” Roko寫。 “這將是一種激勵人們捐款更多以降低存在風險的動力，從而增加了積極的奇異性機會。”
不僅如此，AI可能會選擇追溯懲罰任何了解未來AI（大載體）但沒有盡其所能而無法實現其存在的人。
通過僅僅娛樂這種存在的想法而不是促進其發展的想法，您將使自己有可能推斷出您沒有按照將其存在的義務行事的可能性（實驗的道德語氣（實驗的道德語氣）是由AI偶然地保護自己的任務，而不是人類的任務來保護自己的任務。伊莎貝爾·米拉（Isabel Millar）解釋了在她關於AI的心理分析的論文中。
“蛇怪的複仇亞伯拉罕的性質意味著，將來，它可能會為您永恆地折磨您的模擬，以使他處於生存風險中。蛇質的舊約風格很明顯：他很友善，但只有當您應得的時候。”
更重要的是，根據Roko的說法，AI可能會為那些知道但沒有做任何事情的人保留更嚴重的懲罰，而不是那些對此一無所知的人。因此，通過了解它，您現在將被詛咒，因為他們沒有致力於實現積極的懲罰。
該論點聽起來有些愚蠢，但是當它被張貼時，這引起了很大的轟動。
“人們可能會認為，懲罰人們的[連貫推斷的意志]的可能性不可能被任何人認真對待，實際上可以激勵他們。但是，實際上，在[人工智能奇異學院的一個人都嚴重擔心的是，這是為了讓噩夢般的努力，我通常會這樣做。 Eliezer Yudkowsky在評論中回答。
“非常仔細地聽我的話，你是個白痴。考慮到是否要勒索您，您對超級智能的詳細思考。這是唯一可能的事情，它使他們有動機可以在勒索上遵循。”
此後，Roko的職位被刪除，而對大載體的討論被禁止了幾年。 Roko還後悔發表了有關蛇怪的文章。
“看，你們有三個人認為傳播這一點是一個壞主意。所有人都很聰明。兩個最初認為可以傳播它是可以的。”ROCOM。
“我會補充說，我希望我從來沒有了解任何這些想法。因此關於奇點；我非常希望我的思想永遠不會遇到這些工具，即使這麼小的可能性被小型概率所吸引，即使這一切都在艱鉅的時間，愚蠢和/或愚蠢的範圍內造成如此巨大的潛在自我傷害。 （請注意，這不是很小的。更像是1/500類型的數字）。如果這沒有足夠的警告以使您不再想了解更多，那麼您應該得到您得到的。”
儘管這個想法顯然嚇到了某些人，但從字面上看，擔心有些愚蠢。 AI不太可能因為未能早日創建它而懲罰您，尤其是考慮到追隨追溯勒索的額外資源將需要。但是，它確實突出了AI和遊戲理論中的問題，以及如果我們要創建一個奇異性，那麼將其正確的重要性。
另一方面，如果發生這種情況，他們也可以將我們擦掉，因此也許被報復的大騎士懲罰並不像看起來那樣不好。
