【時報記者王逸芯台北報導】人工智慧(AI)的快速發展讓各種大型語言模型(LLM)不斷更新。為了讓AI技術更廣泛應用,必須從雲端到裝置端都能順利運行,這也帶動了運算和能源需求的增加。為此,Arm與Meta展開了合作,在Arm CPU上成功啟用了新的Llama 3.2語言模型。這次合作結合了開源技術和Arm的運算平台,為解決AI帶來的挑戰提供了解決方案。Arm持續投資並與最新的語言模型合作,讓Arm CPU成為AI開發人員的首選平台。

小型的LLM(例如Llama 3.2 1B和3B)可以處理基礎的文字生成AI工作,這對於大規模AI運算非常重要。透過Arm CPU的優化,在行動裝置上運行Llama 3.2 3B,可以讓文字生成速度提升5倍,並在生成階段達到每秒生成19.92個詞元,這大幅減少了裝置端處理AI工作時的延遲,讓使用者體驗更加流暢。此外,當更多的AI運算在裝置端進行時,能減少與雲端之間的資料傳輸,進一步節省能源與成本。

除了小型模型運行在裝置端,更大的模型如Llama 3.2 11B和90B則可以在雲端上運行。這些模型非常適合在Arm Neoverse V2平台上進行基於CPU的推論運算,能生成文字和圖像。以Arm架構的AWS Graviton4平台為例,運行Llama 3.2 11B模型時,每秒能生成29.3個詞元,遠超過人類每秒讀取五個詞元的速度。

為了進一步支援開發者,Arm推出了Kleidi技術,這項技術能在任何AI框架中發揮Arm CPU的優勢,開發者無需額外進行整合工作。Kleidi與PyTorch的整合讓基於Arm架構的開發者能在雲端到裝置端之間獲得無縫的AI效能,並加快Llama 3模型的反應速度。

Arm與Meta的合作為產業帶來了新的標準,結合了Arm的靈活運算平台和Meta的技術專長,提供了更多AI的應用機會。未來,AI將不只在裝置端提升使用者體驗,還能透過企業應用提升工作效率。到2025年,將有超過1,000億台基於Arm架構的裝置支援AI。

#Arm #Llama #Meta #裝置端 #ArmCPU #Kleidi技術