每日熱議!鄔賀銓：建議開放國家算力平臺支持各類大模型訓練

2023-07-06 09:39:53來源：人民郵電報

【資料圖】

我國在算力總規模上雖可與美國相比，但跨數據中心的算力協同還面臨體制機制的挑戰，不少智算中心算力利用率和效率不高。不少單位各自獨立研究大模型，難免低水平重復。ChatGPT的上線使我們看到了在AIGC上中美的差距，現在需要清楚認識和重視我們面對的挑戰，進行實實在在的創新，將挑戰化為機遇。

近日，中國工程院院士鄔賀銓在接受媒體采訪時表示，我國在大模型開發方面起步相對較晚，ChatGPT出來后，國內不少單位紛紛表示在研發生成式大模型，但研究主體數量多并不意味著中國在大模型上研發水平高。因此，他建議在國家科技與產業計劃的協調下合理分工形成合力，開放國家實驗室的算力平臺支持各類大模型訓練，同時建議組建算力聯盟，集中已有高檔GPU的算力資源，提供大模型數據訓練所需算力。

鄔賀銓表示，雖然已有中國公司聲稱可推出類似ChatGPT的聊天機器人，但就支持多語種能力方面目前不如ChatGPT，就中文對話能力方面及響應速度而言也還有差距。中國企業在獲得中文語料和對中國文化的理解方面比外國企業有天然的優勢，中國制造業門類最全，具有面向實體產業訓練產業AIGC的有利條件。

鄔賀銓認為，在算力方面，中國已具有較好的基礎。據OpenAI報告，訓練GPT-3模型所需的算力高達3.64EFlops／天，相當于3～4個鵬城云腦Ⅱ。按2022年年底的數據，美國占全球算力的36％，中國占31％，現有算力總規模與美國相比有差距但不大，而在以GPU和NPU為主的智能算力規模中，中國明顯高于美國，我國不僅是大型互聯網企業具有相當規模的算力，國家實驗室和一些城市政府支持的實驗室也有大規模的算力資源，可以說在訓練大模型所需算力支持方面中國也能做到。據了解，鵬城實驗室正在設計鵬城云腦Ⅲ，算力達到16EFlops，比GPT-3所用算力高3倍，預計耗資60億元，將為人工智能訓練持續提供強有力的算力支持。

僅有算力還是不夠的。鄔賀銓表示，我國大模型在一些方面還面臨不小挑戰：一是大模型的基礎是深度學習框架，雖然國內企業也自主開發了深度學習框架，但市場考驗還不夠，生態還有待打造。二是將AIGC擴展到產業應用可能需要不止一個大模型，如何將多個大模型高效地整合，有標準化和數據融合的挑戰。三是大模型需要海量數據訓練，中國有數千年的文明，但豐富的文化沉淀絕大多數并未數字化，中文在ChatGPT訓練所用到的語料中還不到0.1％。雖然我國互聯網企業擁有大量電商、社交、搜索等網絡數據，但各自的數據類型不夠全面，網上知識的可信性又缺乏嚴格保證，中文可供訓練的語料還需要做大量的挖掘工作。四是模型訓練所依賴的GPU芯片以英偉達公司的A100芯片為代表，但該芯片已被美國限制向中國出口，國產GPU的性能還有待進一步考驗，目前在算力的利用效率上還有差距。五是在中國從事AI研究的技術人員不算少，但具有架構設計能力和AIGC數據訓練提示師水平的人才仍然短缺。

鄔賀銓認為，ChatGPT的上線使我們看到了在AIGC上中美的差距，現在需要清楚認識和重視我們面對的挑戰，進行實實在在的創新，將挑戰化為機遇，在新一輪的AI賽道上做出中國的貢獻。

鄔賀銓進一步表示，我國在算力總規模上雖可與美國相比，但跨數據中心的算力協同還面臨體制機制的挑戰，不少智算中心算力利用率和效率不高。不少單位各自獨立研究大模型，難免低水平重復，建議在國家科技與產業計劃的協調下合理分工形成合力。建議開放國家實驗室的算力平臺支持各類大模型訓練，同時建議組建算力聯盟，集中已有高檔GPU的算力資源，提供大模型數據訓練所需算力。此外，需要基于大模型開發出各類面向行業應用的模型，盡快使大模型在產業上落地見效，在面向各行各業的應用中培養更多的人才。

標簽：

精彩推薦

每日熱議!鄔賀銓：建議開放國家算力平臺支持各類大模型訓練

相關閱讀

精彩推薦

閱讀排行

相關詞

推薦閱讀