如果您在觀看最新的人工智慧生成影片時驚掉了下巴，欺詐檢測系統從犯罪分子手中拯救了您的銀行餘額，或者您的一天因為能夠在逃亡時口述短信而變得更加輕鬆，那麼您已經要感謝許多科學家、數學家和工程師。
但有兩個名字因對深度學習技術的基礎性貢獻而脫穎而出，使這些體驗成為可能：普林斯頓大學物理學家約翰·霍普菲爾德和多倫多大學計算機科學家傑弗裡·辛頓。
這兩位研究人員分別是榮獲諾貝爾物理學獎2024 年 10 月 8 日，表彰他們在人工神經網路領域的開創性工作。
儘管人工神經網路是以生物神經網路為模型的，但這兩位研究人員的工作都藉鑒了統計物理學，因此獲得了物理學獎。
神經元如何計算
人工神經網路起源於活體大腦中生物神經元的研究。 1943 年，神經生理學家 Warren McCulloch 和邏輯學家 Walter Pitts 提出了神經元如何運作的簡單模型。
在 McCulloch-Pitts 模型中，神經元與其相鄰神經元相連，並且可以接收來自它們的訊號。然後它可以組合這些訊號以將訊號發送到其他神經元。
但有一個不同之處：它可以對來自不同鄰居的訊號進行不同的衡量。想像一下，您正在嘗試決定是否購買一款新的暢銷手機。您與您的朋友交談並詢問他們的建議。
一個簡單的策略是收集所有朋友的推薦，然後決定遵循大多數人的意見。例如，你問三個朋友，愛麗絲、鮑伯和查理，他們分別說是、是和否。這會導致您決定購買這款手機，因為您有兩種贊成和一種反對。
然而，你可能會更信任一些朋友，因為他們對科技小工具有深入的了解。因此，您可能會決定更加重視他們的建議。
例如，如果查理非常有知識，你可能會數他三次“不”，現在你的決定是不買手機？兩聲贊成，三聲反對。
如果你不幸有一個在技術小工具問題上完全不信任的朋友，你甚至可以給他們分配負權重。因此，他們的贊成算是反對，他們的反對也算是贊成。
一旦您自己決定了新手機是否是一個不錯的選擇，其他朋友就可以向您徵求推薦。
同樣，在人工和生物神經網路中，神經元可以聚合來自鄰居的訊號並向其他神經元發送訊號。
這種能力導致了一個關鍵的區別：網路中是否存在循環？例如，如果我今天問 Alice、Bob 和 Charlie，明天 Alice 又問我的推薦，那麼就存在一個循環：從 Alice 到我，再從我回到 Alice。
（Zawersh/維基媒體,CC BY-SA）
如果神經元之間的連接沒有循環，那麼電腦科學家將其稱為前饋神經網路。前饋網路中的神經元可以分層排列。
第一層由輸入組成。第二層從第一層接收訊號，依此類推。最後一層代表網路的輸出。
然而，如果網路中存在循環，電腦科學家稱之為循環神經網絡，而神經元的排列可能比前饋神經網路更複雜。
霍普菲爾德網絡
人工神經網路的最初靈感來自生物學，但很快地其他領域開始影響其發展。這些包括邏輯、數學和物理。
物理學家約翰·霍普菲爾德利用物理學的想法來研究特定的循環神經網路的類型，現在稱為 Hopfield 網路。他特別研究了它們的動態：隨著時間的推移，網路會發生什麼變化？
當訊息透過社交網路傳播時，這種動態也很重要。每個人都知道模因的傳播和在線社交網絡中形成的迴聲室。這些都是集體現象，最終源自於網路中人們之間簡單的資訊交換。
霍普菲爾德是這一領域的先驅使用物理學模型，特別是那些為研究磁性、理解循環神經網路的動力學而開發的技術。他還表明，他們的動態可以給這樣的神經網路一種記憶形式。
波茲曼機和反向傳播
在 20 世紀 80 年代，Geoffrey Hinton、計算神經生物學家 Terrence Sejnowski 等人擴展了 Hopfield 的想法，創建了一類新的模型，稱為波茲曼機，以 19 世紀物理學家的名字命名路德維希·玻爾茲曼。
顧名思義，這些模型的設計植根於玻爾茲曼開創的統計物理學。
與可以儲存模式並修正模式中的錯誤的 Hopfield 網路不同？就像拼字檢查器一樣？玻爾茲曼機器可以產生新的模式，從而播下現代生成人工智慧革命的種子。
Hinton 也是 20 世紀 80 年代發生的另一個突破的一部分：反向傳播。如果您希望人工神經網路執行有趣的任務，則必須以某種方式為人工神經元之間的連接選擇正確的權重。
反向傳播是一種關鍵演算法，可以根據網路在訓練資料集上的表現來選擇權重。然而，訓練多層人工神經網路仍然具有挑戰性。
在 2000 年代，Hinton 和他的同事巧妙地使用玻爾茲曼機訓練多層網絡首先逐層預訓練網絡，然後在預訓練網絡之上使用另一種微調演算法來進一步調整權重。
多層網絡被重新命名為深度網絡，深度學習革命已經開始。
人工智慧回報物理學
諾貝爾物理學獎展示了物理學思想如何促進深度學習的興起。現在，深度學習已經開始回報物理學，它能夠準確、快速地模擬從分子和材料一直到整個地球氣候的系統。
透過將諾貝爾物理學獎授予霍普菲爾德和辛頓，頒獎委員會表達了對人類利用這些進步促進人類福祉和建立可持續發展世界的潛力的希望。
