諾貝爾物理學獎：Hopfield 和 Hinton 的 AI 如何改變我們的世界

如果您在觀看最新的 AI 生成的視頻時驚掉了下巴，您的銀行余額被欺詐檢測系統(tǒng)從犯罪分子手中挽救出來，或者您的一天因為能夠在奔跑中口述短信而變得更加輕松，那么您要感謝許多科學家、數學家和工程師。

但是，有兩個名字對使這些體驗成為可能的深度學習技術做出了基礎性貢獻，他們是：普林斯頓大學物理學家約翰·霍普菲爾德和多倫多大學計算機科學家杰弗里·辛頓.

這兩位研究人員是獲得諾貝爾物理學獎2024 年 10 月 8 日，以表彰他們在人工神經網絡領域的開創(chuàng)性工作。

盡管人工神經網絡是以生物神經網絡為模型的，但兩位研究人員的工作都借鑒了統(tǒng)計物理學，因此獲得了物理學獎。

神經元如何計算

人工神經網絡起源于對活體大腦中生物神經元的研究。1943 年，神經生理學家沃倫·麥卡洛克 （Warren McCulloch） 和邏輯學家沃爾特·皮茨 （Walter Pitts） 提出了一種神經元工作原理的簡單模型.

在 McCulloch-Pitts 模型中，神經元與其相鄰的神經元相連，并且可以接收來自它們的信號。然后它可以將這些信號組合起來，向其他神經元發(fā)送信號。

但有一個轉折點：它可以以不同的方式權衡來自不同鄰居的信號。想象一下，您正在嘗試決定是否購買一部新的暢銷手機。您與您的朋友交談并詢問他們的建議。

一個簡單的策略是收集所有朋友的推薦，并決定接受大多數人所說的任何內容。例如，您問三個朋友 Alice、Bob 和 Charlie，他們分別說 yay、yay 和 nay。這導致您決定購買這款手機，因為您有兩個 yes 和一個 nay。

但是，您可能會更信任一些朋友，因為他們對技術小工具有深入的了解。因此，您可能決定更多地考慮他們的建議。

例如，如果 Charlie 知識淵博，您可能會數他的 nay 三次，現在您決定不買手機 – 兩個 yes 和 3 個反對。

如果你不幸有一個在技術小工具問題上完全不信任的朋友，你甚至可以給他們一個負的權重。所以他們的 yay 算作 nay，他們的 nay 算作 yay。

一旦您自己決定新手機是否是一個不錯的選擇，其他朋友可以向您征求建議。

同樣，在人工和生物神經網絡中，神經元可以聚合來自鄰居的信號，并向其他神經元發(fā)送信號。

此功能導致了一個關鍵區(qū)別：網絡中是否存在循環(huán)？例如，如果我今天問 Alice、Bob 和 Charlie，明天 Alice 問我推薦，那么就會出現一個循環(huán)：從 Alice 到我，再從我回到 Alice。

如果神經元之間的連接沒有循環(huán)，那么計算機科學家稱它為前饋神經網絡。前饋網絡中的神經元可以分層排列。

第一層由 inputs 組成。第二層從第一層接收信號，依此類推。最后一層表示網絡的輸出。

但是，如果網絡中存在一個循環(huán)，計算機科學家將其稱為遞歸神經網絡，并且神經元的排列可能比前饋神經網絡更復雜。

Hopfield 網絡

人工神經網絡的最初靈感來自生物學，但很快其他領域開始影響它們的發(fā)展。這些課程包括邏輯、數學和物理。

物理學家約翰·霍普菲爾德 （John Hopfield） 使用物理學的思想來研究特定的遞歸神經網絡的類型，現在稱為 Hopfield 網絡。特別是，他研究了它們的動態(tài)：隨著時間的推移，網絡會發(fā)生什么變化？

當信息通過社交網絡傳播時，這種動態(tài)也很重要。每個人都知道模因正在病毒式傳播，回音室在在線社交網絡中形成。這些都是集體現象，最終由網絡中人們之間的簡單信息交換產生。

霍普菲爾德是使用物理場中的模型，尤其是那些為研究磁學而開發(fā)的，以了解遞歸神經網絡的動力學。他還表明，他們的動態(tài)可以給這樣的神經網絡一種記憶形式.

玻爾茲曼機和反向傳播

在 1980 年代，Geoffrey Hinton、計算神經生物學家 Terrence Sejnowski 和其他人擴展了 Hopfield 的想法，創(chuàng)建了一類名為玻爾茲曼機，以 19 世紀物理學家的名字命名路德維?！げ柶澛?/a>.

顧名思義，這些模型的設計植根于玻爾茲曼開創(chuàng)的統(tǒng)計物理學。

與可以存儲模式并糾正模式中的錯誤的 Hopfield 網絡不同（就像拼寫檢查器一樣），玻爾茲曼機器可以生成新模式，從而播下現代生成式 AI 革命的種子。

Hinton 也是 1980 年代發(fā)生的另一項突破的一部分：反向傳播.如果你想讓人工神經網絡完成有趣的任務，你必須以某種方式為人工神經元之間的連接選擇合適的權重。

反向傳播是一種關鍵算法，可以根據網絡在訓練數據集上的性能來選擇權重。然而，訓練多層人工神經網絡仍然具有挑戰(zhàn)性。

在 2000 年代，Hinton 和他的同事們巧妙地使用 Boltzmann 機器訓練多層網絡首先逐層預訓練網絡，然后在預訓練網絡之上使用另一種微調算法來進一步調整權重。

多層網絡被重新命名為深度網絡，深度學習革命已經開始。

AI 將其回報給物理學

諾貝爾物理學獎展示了物理學的思想如何促進了深度學習的興起?，F在，深度學習已經開始對物理學進行應有的回報，它能夠準確、快速地模擬從分子和材料一直到整個地球氣候的系統(tǒng)。

通過將諾貝爾物理學獎授予 Hopfield 和 Hinton，該獎項委員會表明了它對人類利用這些進步來促進人類福祉和建設可持續(xù)世界的潛力的希望。

一個mbuj Tewari， 統(tǒng)計學教授，密歇根大學

本文轉載自對話根據 Creative Commons 許可。閱讀原創(chuàng)文章.

寶寶起名 起名