(相關資料圖)
深度學習技術作為AI的重要引擎，近年來受到廣泛關注和飛速發展。圖神經網絡（Graph Neural Network）是一種較新的深度學習技術，可用于處理更復雜的非結構化數據，廣泛應用于社交網絡、電子購物、藥物預測、人機交互等應用場景。隨著數據量的急速膨脹，傳統CMOS數字硬件系統中運行圖神經網絡的效率急待提升，圖神經網絡的訓練過程日趨復雜使得訓練能耗居高不下?；谧枳儜涀杵鳎≧RAM）的存內計算技術雖可顯著緩解傳統數字硬件系統中的馮·諾依曼瓶頸、進一步提升計算效率，但仍受到高擦寫功耗、延時及一定的編程阻值隨機性等器件非理想特性的限制。
針對上述問題，微電子所微電子器件與集成技術重點實驗室劉明院士團隊尚大山研究員與香港大學電子工程系王中銳博士合作，開發了一種利用儲池計算（Reservoir Computing）技術實現圖結構化數據分類的技術——回聲狀態圖網絡（ESGNN）。儲池計算是循環神經網絡的一種簡化形式，能夠將時序輸入信號通過神經元的非線性激活函數轉換到一個高維空間中，再通過一個簡單線性回歸方法有效地讀出。儲池計算中循環連接層的權重始終固定不變，只需訓練輸出層權重，可最大限度降低訓練復雜度和訓練時間。在硬件方面，團隊利用RRAM的本征隨機性構建大規模隨機電阻陣列（圖1a-b），將其作為儲池網絡的初始化權重，具有低成本、可擴展優勢。在軟件方面，ESGNN巧妙運用了隨機電阻陣列帶來的物理隨機投影，以存內計算的方式完成圖嵌入過程，大大降低了圖神經網絡的訓練成本。團隊還通過軟—硬協同優化技術，在基于FPGA的板級測試平臺上實現了對MUTAG、COLLAB數據集的圖分類，進行了更大規模CORA數據集的節點分類仿真。相比傳統數字硬件系統，能效分別提升了2.16、35.42和40.37倍。該工作展現了RRAM陣列在構建邊緣圖學習系統方面的巨大潛力，也為利用自然界豐富的物理、化學性質開發更高效的智能硬件系統提供了參考。
該項目得到了科技部、國家自然科學基金委、中科院和香港大學的支持。成果近期發表在《自然·機器智能》期刊上（Nature Machine Intelligence, DOI: 10.1038/s42256-023-00609-5），并入選當期封面文章。微電子所訪問學生、香港大學博士研究生王少聰、微電子所博士研究生李熠為文章的共同第一作者，香港大學王中銳博士、微電子所尚大山研究員為該文章的通訊作者。此外，參與本工作的主要研究人員還包括微電子所許曉欣研究員、復旦大學劉琦教授和張續猛博士、浙江大學林芃教授、意大利比薩大學Gallicchio博士和香港科技大學鄭光廷教授等。
文章鏈接：https://www.nature.com/articles/s42256-023-00609-5
Echo state graph neural networks with analogue random resistive memory arrays
S. Wang, Y. Li, D. Wang, W. Zhang, X. Chen, D. Dong, S. Wang, X. Zhang, P. Lin, C. Gallicchio, X. Xu, Q. Liu, K. Chen, Z. Wang*, D. S. Shang*, M. Liu
Nature Machine Intelligence (2023) DOI: 10.1038/s42256-023-00609-5
