【時報記者王逸芯台北報導】人工智慧(AI)的快速發展讓各種大型語言模型(LLM)不斷更新。為了讓AI技術更廣泛應用,必須從雲端到裝置端都能順利運行,這也帶動了運算和能源需求的增加。為此,Arm與Meta展開了合作,在Arm CPU上成功啟用了新的Llama 3.2語言模型。這次合作結合了開源技術和Arm的運算平台,為解決AI帶來的挑戰提供了解決方案。Arm持續投資並與最新的語言模型合作,讓Arm CPU成為AI開發人員的首選平台。
小型的LLM(例如Llama 3.2 1B和3B)可以處理基礎的文字生成AI工作,這對於大規模AI運算非常重要。透過Arm CPU的優化,在行動裝置上運行Llama 3.2 3B,可以讓文字生成速度提升5倍,並在生成階段達到每秒生成19.92個詞元,這大幅減少了裝置端處理AI工作時的延遲,讓使用者體驗更加流暢。此外,當更多的AI運算在裝置端進行時,能減少與雲端之間的資料傳輸,進一步節省能源與成本。
除了小型模型運行在裝置端,更大的模型如Llama 3.2 11B和90B則可以在雲端上運行。這些模型非常適合在Arm Neoverse V2平台上進行基於CPU的推論運算,能生成文字和圖像。以Arm架構的AWS Graviton4平台為例,運行Llama 3.2 11B模型時,每秒能生成29.3個詞元,遠超過人類每秒讀取五個詞元的速度。
為了進一步支援開發者,Arm推出了Kleidi技術,這項技術能在任何AI框架中發揮Arm CPU的優勢,開發者無需額外進行整合工作。Kleidi與PyTorch的整合讓基於Arm架構的開發者能在雲端到裝置端之間獲得無縫的AI效能,並加快Llama 3模型的反應速度。
Arm與Meta的合作為產業帶來了新的標準,結合了Arm的靈活運算平台和Meta的技術專長,提供了更多AI的應用機會。未來,AI將不只在裝置端提升使用者體驗,還能透過企業應用提升工作效率。到2025年,將有超過1,000億台基於Arm架構的裝置支援AI。
發表意見
當您使用本網站留言服務時,視為已承諾願意遵守中華民國相關法令及一切使用網際網路之國際慣例。若您是中華民國以外之使用者,並同意遵守所屬國家或地域之法令。
您同意並保證不得利用本留言服務從事侵害本公司或他人權益及相關違法或未經本公司事前同意之行為(以下簡稱禁止行為),否則您除應自負文責外,並同意本公司逕行移除或修訂您的留言內容或限制您的留言權利或封鎖您的帳號,絕無異議。前述禁止之行為,包括但不限於: