如果您在觀看最新的人工智能生成的視頻時驚掉了下巴，欺詐檢測系統從犯罪分子手中拯救了您的銀行餘額，或者您的一天因為能夠在逃跑時口述短信而變得輕鬆一些，那麼您要感謝許多科學家、數學家和工程師。
但有兩個名字因對深度學習技術的基礎性貢獻而脫穎而出，使這些體驗成為可能：普林斯頓大學物理學家約翰·霍普菲爾德和多倫多大學計算機科學家杰弗裡·辛頓。
這兩位研究人員分別是榮獲諾貝爾物理學獎2024 年 10 月 8 日，表彰他們在人工神經網絡領域的開創性工作。
儘管人工神經網絡是以生物神經網絡為模型的，但這兩位研究人員的工作都藉鑑了統計物理學，因此獲得了物理學獎。
神經元如何計算
人工神經網絡起源於對活體大腦中生物神經元的研究。 1943 年，神經生理學家 Warren McCulloch 和邏輯學家 Walter Pitts 提出了神經元如何工作的簡單模型。
在 McCulloch-Pitts 模型中，神經元與其相鄰神經元相連，並可以接收來自它們的信號。然後它可以組合這些信號以將信號發送到其他神經元。
但有一個不同之處：它可以對來自不同鄰居的信號進行不同的衡量。想像一下，您正在嘗試決定是否購買一款新的暢銷手機。您與您的朋友交談並詢問他們的建議。
一個簡單的策略是收集所有朋友的推薦，然後決定遵循大多數人的意見。例如，你問三個朋友，愛麗絲、鮑勃和查理，他們分別說是、是和否。這會導致您決定購買這款手機，因為您有兩種贊成和一種反對。
然而，你可能會更信任一些朋友，因為他們對技術小工具有深入的了解。因此，您可能會決定更加重視他們的建議。
例如，如果查理知識淵博，您可能會數他三次反對，現在您的決定是不購買這款手機 - 兩次贊成和三次反對。
如果你不幸有一個在技術小工具問題上完全不信任的朋友，你甚至可以給他們分配負權重。因此，他們的讚成算作反對，他們的反對也算作贊成。
一旦您自己決定了新手機是否是一個不錯的選擇，其他朋友就可以向您徵求推薦。
同樣，在人工和生物神經網絡中，神經元可以聚合來自鄰居的信號並向其他神經元發送信號。
這種能力導致了一個關鍵的區別：網絡中是否存在循環？例如，如果我今天問 Alice、Bob 和 Charlie，明天 Alice 又問我的推薦，那麼就存在一個循環：從 Alice 到我，再從我回到 Alice。
(Zawersh/維基媒體,CC BY-SA）
如果神經元之間的連接沒有循環，那麼計算機科學家將其稱為前饋神經網絡。前饋網絡中的神經元可以分層排列。
第一層由輸入組成。第二層從第一層接收信號，依此類推。最後一層代表網絡的輸出。
然而，如果網絡中存在循環，計算機科學家將其稱為循環神經網絡，並且神經元的排列可能比前饋神經網絡更複雜。
霍普菲爾德網絡
人工神經網絡的最初靈感來自生物學，但很快其他領域開始影響其發展。這些包括邏輯、數學和物理。
物理學家約翰·霍普菲爾德利用物理學的思想來研究特定的循環神經網絡的類型，現在稱為 Hopfield 網絡。他特別研究了它們的動態：隨著時間的推移，網絡會發生什麼變化？
當信息通過社交網絡傳播時，這種動態也很重要。每個人都知道模因的傳播和在線社交網絡中形成的迴聲室。這些都是集體現象，最終源於網絡中人們之間簡單的信息交換。
霍普菲爾德是這一領域的先驅使用物理學模型，特別是那些為研究磁性、理解循環神經網絡的動力學而開發的。他還表明，他們的動力可以給這樣的神經網絡一種記憶形式。
玻爾茲曼機和反向傳播
在 20 世紀 80 年代，Geoffrey Hinton、計算神經生物學家 Terrence Sejnowski 等人擴展了 Hopfield 的想法，創建了一類新的模型，稱為玻爾茲曼機，以 19 世紀物理學家的名字命名路德維希·玻爾茲曼。
顧名思義，這些模型的設計植根於玻爾茲曼開創的統計物理學。
與可以存儲模式並糾正模式中的錯誤（就像拼寫檢查器一樣）的 Hopfield 網絡不同，玻爾茲曼機器可以生成新的模式，從而播下現代生成人工智能革命的種子。
Hinton 也是 20 世紀 80 年代發生的另一項突破的一部分：反向傳播。如果您希望人工神經網絡執行有趣的任務，則必須以某種方式為人工神經元之間的連接選擇正確的權重。
反向傳播是一種關鍵算法，可以根據網絡在訓練數據集上的性能來選擇權重。然而，訓練多層人工神經網絡仍然具有挑戰性。
在 2000 年代，Hinton 和他的同事巧妙地使用玻爾茲曼機訓練多層網絡首先逐層預訓練網絡，然後在預訓練網絡之上使用另一種微調算法來進一步調整權重。
多層網絡被重新命名為深度網絡，深度學習革命已經開始。
人工智能回報物理學
諾貝爾物理學獎展示了物理學思想如何促進深度學習的興起。現在，深度學習已經開始回報物理學，它能夠準確、快速地模擬從分子和材料一直到整個地球氣候的系統。
通過將諾貝爾物理學獎授予霍普菲爾德和辛頓，頒獎委員會表達了對人類利用這些進步促進人類福祉和建設可持續發展世界的潛力的希望。
