密歇根大學的研究人員展示了如何訓練機械神經網絡——三角形的黑色格子——來解決問題。圖片來源:李帥峰
研究:通過原位反向傳播訓練任務學習的全機械神經網絡(DOI:10.1038/s41467-024-54849-z)
人們很容易認為,機器學習是一種完全數字化的現象,是通過計算機和算法模擬類似大腦的行為而實現的。
但是第一批機器是模擬的,現在,一個小而不斷增長的研究表明,機械系統也有學習能力。密歇根大學(University of Michigan)的物理學家們為這一領域的研究提供了最新的突破口。
小明毛
密歇根大學的李帥峰和毛曉明團隊設計了一種算法,為學習如何在被稱為機械神經網絡的格子中工作提供了一個數學框架。
“我們看到材料可以自己學習任務并進行計算,”李說。
研究人員已經展示了該算法如何用于“訓練”材料來解決問題,例如識別不同種類的鳶尾植物。有一天,這些材料可以制造出能夠解決更高級問題的結構,比如飛機機翼可以根據不同的風況優化形狀,而不需要人類或計算機的介入。
這樣的未來還有很長的路要走,但密歇根大學新研究的見解也可以為該領域以外的研究人員提供更直接的靈感,博士后研究員李說。
該算法基于一種被稱為反向傳播的方法,該方法已被用于數字和光學系統的學習。研究人員說,由于該算法對信息的傳遞方式明顯漠不關心,它也有助于開辟探索生命系統如何學習的新途徑。
“我們在許多物理系統中看到了反向傳播理論的成功,”李說。“我認為這也可能有助于生物學家了解人類和其他物種的生物神經網絡是如何工作的。”
李和密歇根大學物理系的毛教授在《自然通訊》雜志上發表了他們的新研究。
獲得所謂的損失函數的梯度是建立由密歇根大學研究人員開發的反向傳播算法來訓練材料的重要步驟。研究人員表示,通過3d打印的機械神經網絡模型,可以在實驗中發現這種梯度。圖片來源:s.l i i和x.m o, Nat. common . 2024, 10.1038/s41467-024-54849-z的CC BY許可下使用
在計算中使用物理對象的想法已經存在了幾十年。但對機械神經網絡的關注是較新的,隨著人工智能的其他最新進展,人們的興趣也在增長。
這些進步中的大多數——當然也是最引人注目的——都是在計算機技術領域取得的。每周都有數億人求助于ChatGPT等人工智能聊天機器人,幫助他們寫郵件、計劃假期等。
這些人工智能助手是基于人工神經網絡的。李說,盡管它們的工作原理很復雜,而且在很大程度上隱藏在人們的視野之外,但它們為理解機械神經網絡提供了一個有用的類比。
當使用聊天機器人時,用戶輸入命令或問題,由運行在具有強大處理能力的計算機網絡上的神經網絡算法進行解釋。基于該系統從暴露于大量數據中所學到的知識,它會生成一個響應或輸出,并在用戶的屏幕上彈出。
機械神經網絡(MNN)具有相同的基本元素。在李和毛的研究中,輸入是一個附加在材料上的重量,它作為處理系統。輸出是材料如何改變其形狀,由于重量作用在它上面。
“力是輸入信息,材料本身就像處理器,材料的變形是輸出或響應,”李說。
在這項研究中,“處理器”材料是3d打印的橡膠晶格,由微小的三角形構成更大的梯形。材料通過調整晶格內特定部分的剛度或柔韌性來學習。
為了實現它們未來的應用——就像飛機機翼在飛行中調整它們的特性一樣——mnn需要能夠自己調整這些部分。可以做到這一點的材料正在研究中,但你還不能從目錄中訂購。
因此,李通過打印出具有更厚或更薄段的新版本處理器來模擬這種行為,以獲得所需的響應。李和毛的工作的主要貢獻是指導材料如何適應這些片段的算法。
李說,雖然反向傳播理論背后的數學是復雜的,但這個想法本身是直觀的。
要開始這個過程,您需要知道您的輸入是什么以及您希望系統如何響應。然后應用輸入,看看實際的響應與期望的有什么不同。然后,網絡獲取這個差異,并使用它來通知它如何改變自己,以便在隨后的迭代中更接近期望的輸出。
數學上,實際輸出和期望輸出之間的差異對應于一個稱為損失函數的表達式。通過對損失函數應用一個叫做梯度的數學算子,網絡學會了如何改變。
李表示,如果你知道要尋找什么,他的mnn就會提供這些信息。
“它可以自動顯示漸變,”李說,并補充說他在這項研究中得到了相機和計算機代碼的一些幫助。“它真的很方便,也很高效。”
考慮這樣一種情況,一個晶格完全由具有相同厚度和剛度的分段組成。如果你在一個中心節點上懸掛一個重物——部分相交的點——由于系統的對稱性,它的左右相鄰節點會向下移動相同的量。
但是假設,相反,你想要創建一個晶格,它不僅給你一個不對稱的響應,而且給你一個最不對稱的響應。也就是說,您希望創建一個網絡,該網絡給出權重左側的節點和右側的節點之間移動的最大差異。
李和毛使用他們的算法和一個簡單的實驗裝置來創建給出該解決方案的晶格。(李說,與生物學的另一個相似之處在于,這種方法只關心附近的連接在做什么,類似于神經元的運作方式。)
更進一步,研究人員還提供了輸入力的大型數據集,類似于計算機上的機器學習,以訓練他們的mnn。
在一個例子中,不同的輸入力對應于鳶尾植物上不同大小的花瓣和葉子,這是幫助區分物種的定義特征。然后,李可以將一種未知物種的植物呈現給訓練好的晶格,它可以正確地對其進行分類。
李已經在努力提高系統的復雜性,并利用攜帶聲波的MNNs來解決問題。
“我們可以在輸入中編碼更多的信息,”李說。“對于聲波,你有可以編碼數據的振幅、頻率和相位。”
與此同時,密歇根大學的研究小組也在研究更廣泛的材料網絡,包括聚合物和納米顆粒組合。有了這些,他們可以創建新的系統,在那里他們可以應用他們的算法,并努力實現完全自主的學習機器。
這項工作是由海軍研究辦公室和國家科學基金會復雜粒子系統中心(COMPASS)支持的。