Yoshua Bengio是最引人入勝的研究人員之一人工智慧(人工智慧).建立人工神經網絡和深度學習算法的先驅，班吉奧以及Meta首席AI科學家Yann Lecun和前Google AI研究員Geoffrey Hinton獲得了2018年圖靈獎（稱為計算的“諾貝爾”）對該領域的關鍵貢獻。
然而，現在的班吉奧（Bengio）經常與他的圖靈獎獎獲得者一起作為AI的“教父”之一，他的技術發展和收養的步伐感到不安。他認為，人工智能可能會損害社會的結構，並對人類承擔意外的風險。現在，他是《高級AI安全》國際科學報告的主席 - 由30個國家，歐盟和聯合國支持的諮詢小組。
現場科學通過視頻通話與班吉奧進行了交談Howthelightgetsin倫敦的節日，在那裡他討論了機器意識的可能性和剛起步技術的風險。這就是他不得不說的。
本·特納（Ben Turner）：您在發展人工神經網絡中發揮了令人難以置信的重要作用，但是現在您呼籲暫停其發展，並正在研究調節它們的方法。是什麼讓您要求一生的工作停頓？
Joshua Bengio：很難與您自己的教會抗衡，但是如果您對事情進行合理的思考，就無法否認當我們達到AI水平時災難性的結果的可能性。我之所以關鍵的原因是因為在那一刻之前，我知道有一些情況很差，但我認為我們會弄清楚。
但是，它正在考慮我的孩子和他們的未來，這使我決定我必須採取不同的行動才能竭盡所能減輕風險。
BT：您是否對減輕其最嚴重的影響有些責任？是您的權重嗎？
YB：是的，我願意。我之所以感到責任，是因為由於我對科學工作的認可，我的聲音會產生一定的影響，因此我覺得我需要大聲疾呼。我參與的另一個原因是，如果我們要弄清楚如何不損害AI的建設人員，這是更大的政治解決方案的一部分。
公司很樂意包括這些技術解決方案，但是現在我們不知道該怎麼做。他們仍然想獲得從人工智能中預測到的人類級別的四千萬利潤 - 因此我們處於不良狀態，我們需要找到科學答案。
我經常使用的一張圖像是，就像所有人類都在我們不太了解的道路上行駛，而我們面前有霧。我們要朝那個霧氣，我們可能會在山路上，並且可能有一個非常危險的通行證，我們看不到足夠清楚。
那我們該怎麼辦？我們是否繼續向前賽，希望一切都會好起來，還是我們嘗試提出技術解決方案？政治解決方案說，要採用預防原則：如果不確定，請放慢腳步。技術解決方案表示，我們應該提出凝視霧氣的方法，並可能為車輛配備保障措施。
BT： 那麼，短期和長期對人類帶來的最大風險是什麼？
YB：人們總是說這些風險是科幻小說，但事實並非如此。在短期內，我們已經看到AI在美國大選中使用，而且情況會變得更糟。最近的一項研究表明，chatgpt-4是在說服力時比人類好得多，那隻是chatgpt-4 - 新版本會更糟。
還測試了這些系統如何幫助恐怖分子。最近的Chatgpt O1改變了這一風險從低風險到中等風險。
如果您走得更遠，那麼當我們達到上智能水平時，會有兩個主要風險。首先是失去人類控制，如果超智能機器具有自我保護目標，他們的目標可能是摧毀人類，以便我們無法將其關閉。
如果第一種情況不以某種方式發生，另一個危險是在人類中使用人工智能在全球獨裁統治下控制人類的力量。您可以擁有更溫和的版本，並且可以在頻譜上存在，但是該技術將為控制它的任何人提供巨大的力量。
BT：歐盟發布了AI法案，拜登（Biden）的行政命令也在AI上。政府對這些風險的反應如何？他們的回答是朝正確的方向邁出的嗎？
YB：我認為他們朝著正確的方向邁出了一步。因此，例如，拜登（Biden）的行政命令與白宮在那個階段一樣多，但沒有影響，這並不迫使公司分享其測試結果，甚至迫使公司進行這些測試。
我們需要擺脫這種自願元素，公司實際上必須制定安全計劃，洩露其測試結果，如果他們不遵循最先進的行為來保護公眾，他們可能會被起訴。我認為，就立法而言，這是最好的提議。
BT：在講話時，神經網絡有許多令人印象深刻的應用程序。但是他們仍然有問題：他們與無監督的學習鬥爭而且他們不能很好地適應很少出現在培訓數據中的情況，他們需要消費驚人的數量的。當然，正如我們所看到的自動駕駛汽車，這些斷層還會產生自己的風險？
YB：首先，我想糾正您在這個問題中所說的話：他們非常擅長於無監督的學習，基本上這就是他們的培訓方式。他們以無監督的方式接受了培訓 - 只是吃了您提供的所有數據並試圖理解它，這是無監督的學習。這就是所謂的預訓練，在您甚至給他們一項任務之前，您就可以使他們了解所有可能的數據。
至於他們需要多少數據，是的，他們需要的數據比人類需要更多的數據，但是有論點認為，進化需要更多的數據來提出大腦中的細節。因此，很難進行比較。
我認為我們需要多少數據可以改善空間。從政策的角度來看，重要的一點是，我們取得了巨大的進步，人類智能與其能力之間仍然存在巨大差距，但是目前尚不清楚我們要彌合這一差距有多遠。政策應為在接下來的五年左右的時間內做準備。
BT：在此數據問題上，GPT模型已顯示為經歷模型崩潰當他們消耗足夠的內容時。我知道我們已經談到了人工智能成為超級智能和流氓的風險，但是一種更加荒謬的反烏托邦的可能性又會依賴AI，它依靠AI，它剝奪了工作的工作，它會降低和崩潰，然後我們又拿起了呢？
YB：是的，我不擔心它們從它們產生的數據中崩潰的問題。如果您選擇[餵養系統]合成數據，並且以人們理解的方式巧妙地做到這一點。您不會只要求這些系統生成數據並訓練它 - 從機器學習的角度來看，這是毫無意義的。
借助綜合數據，您可以使其與自身抗衡，並生成合成數據，有助於其做出更好的決策。所以我不怕那個。
但是，我們可以構建具有我們預期的副作用的機器。一旦我們依靠它們，就很難拔下插頭，甚至可能會失去控制。如果這些機器無處不在，並且它們控制著社會的許多方面，並且他們有不良的意圖……
有欺騙能力[在這些系統中]。有很多未知的未知數可能非常糟糕。因此，我們需要小心。
BT：Guardian最近報告說，Google，Apple，Meta和Microsoft的數據中心排放可能是比他們聲稱的高662％。彭博社還報導了AI數據中心是推動化石燃料基礎設施的複興在美國，AI的真正近期危險可能是我們在發展時對氣候造成的不可逆轉的損害？
YB：是的，這是一個大問題。我不會說這與AI在人類滅絕的風險方面造成的重大政治中斷相提並論，但這是非常嚴重的事情。
如果您查看數據，訓練最大型號所需的電量每年成倍增長。這是因為研究人員發現，製作模型，越越聰明，賺錢就越多。
這裡重要的是，這種情報的經濟價值將是如此之大，以至於對那個種族中的那些人來說，支付該電力的價格是10倍。這意味著我們所有人都將為電力支付更多費用。
如果我們遵循趨勢的發展，除非發生任何變化，否則在地球上產生的電力的很大一部分將進入訓練這些模型。而且，當然，這不能全部來自可再生能源，這將是因為我們從地面上掏出更多的化石燃料。這很糟糕，這是我們應該放慢腳步的另一個原因 - 但這不是唯一的原因。
BT： 一些AI研究人員對機器達到人工通用智能（AGI）的危險表示擔憂，這在該領域有些有爭議的流行語。還有其他人，例如托馬斯·迪特里奇（Thomas Dietterich）已經說過這個概念不科學，並且人們應該尷尬地使用該術語。您在這場辯論中落在哪裡？
YB：我認為談論某些領域的能力是非常科學的。這就是我們要做的，我們一直進行基準測試並評估特定的功能。
當我們詢問這一切的含義時（就一般智能而言）時，它會得到dicey。但是我認為這是錯誤的問題。我的問題是在足夠聰明的機器中，它們具有特定的功能，是什麼使它們對我們有害？它們可以用於網絡攻擊嗎？設計生物武器？說服人們？他們是否有能力在其他機器上複製自己，或者與開發人員的意願相反？
所有這些都是不好的，而且這些AI具有這些功能的子集已經足夠危險了。沒有什麼模糊的，人們已經在為這些能力建立基準，因為我們不希望機器擁有它們。 AI安全機構英國和我們正在研究這些事情並正在測試模型。
BT：我們早些時候談到了這一點，但是您對科學家和政客的工作有多滿意？您對自己和他們的努力感到滿意嗎？還是我們仍然走上非常危險的道路？
YB：我認為我們還沒有在減輕風險方面做到的事情。有很多全球對話，很多立法提案，聯合國開始考慮國際條約- 但是我們需要走得更遠。
我們在提高認識和更好地理解風險的方面取得了很大的進步，而與政客們一起考慮立法，但我們還沒有。我們不在可以保護自己免受災難性風險的階段。
在過去的六個月中，現在也有一個反對（反對監管進展），非常有力的大堂來自少數人，他們擁有大量的權力和金錢，並且不希望公眾對自己對AI的所作所為進行任何監督。
建造這些機器的人之間存在利益衝突，期望賺很多錢，並與公眾互相競爭。我們需要管理這種衝突，就像我們為煙草所做的那樣，就像我們還沒有設法使用化石燃料一樣。我們不能只是讓市場力量成為唯一推動我們發展AI的力量。
BT：具有諷刺意味的是，如果它剛剛移交給了市場力量，我們將在某種程度上將未來與已經具有破壞性的算法聯繫起來。
YB：是的，到底是。
BT：您提到了遊說小組，他們努力保持機器學習不受監管。他們的主要論點是什麼？
YB：一個論點是它將減慢創新。但是，是否有一場競賽可以盡快改變世界？不，我們想讓它變得更好。如果這意味著採取正確的步驟來保護公眾，就像我們在許多其他部門中所做的那樣，這不是一個好論點。這並不是說我們將停止創新，而是可以指導努力，以建立一定會幫助人們的經濟和福祉的工具。所以這是一個錯誤的論點。
我們對從三明治到汽車到您乘坐的飛機的幾乎所有內容都對所有東西進行了監管。在進行監管之前，我們的數量級更多的事故。藥品也一樣。我們可以擁有有用和受監管的技術，這對我們有用。
第二個論點是，如果西方因我們要謹慎而放慢腳步，那麼中國將要飛躍並對我們使用技術。這是一個真正的問題，但是解決方案不僅要在不謹慎的情況下加速，因為這提出了軍備競賽的問題。
解決方案是一個中間立場，我們與中國人交談，我們對避免重大災難的共同利益符合我們的興趣。我們簽署條約，並致力於驗證技術，以便我們可以互相信任，我們不會做任何危險的事情。這就是我們需要做的，這樣我們既可以謹慎，也可以為地球的福祉而團結起來。
編者註：這次採訪已被編輯和凝結，以清晰地進行。
Howthelightgetsin是世界上最大的思想，科學和音樂節，每年在倫敦和乾草舉行。錯過了他們的倫敦節嗎？不用擔心。節日以前的所有活動，包括最近的倫敦音樂節的所有辯論和演講，都可以觀看iai.tv.跨越從量子到意識的主題以及之間的所有內容，您會發現視頻，文章，甚至每月在線活動，包括Roger Penrose，Carlo Rovelli和Sabine Hossenfelder，包括Roger Penrose，Carlo Rovelli和Sabine Hossenfelder。今天在iai.tv/subscribe。
還有什麼？下一個節日於2025年5月23日至26日返回乾草，以“導航未知”為主題。有關早鳥門票的更多詳細信息和信息，請前往他們的網站。
