【時報記者任珮云台北報導】亞馬遜雲端(AWS)正式推出了由NVIDIA H100 Tensor Core GPU驅動的新的Amazon Elastic Compute Cloud(EC2)P5實例。NVIDIA H100 GPU的一個重要特點是其對Transformer的優化,這是許多最新的先進AI應用所使用的關鍵技術,可確保H100在這些應用程式中提供更高的性能和效率。

與上一代基於GPU的執行個體相比,Amazon EC2 P5執行個體可以將訓練時間縮減6倍(從幾天縮短到幾小時),幫助客戶節省高達40%的訓練成本。

Amazon EC2 P5執行個體提供8個NVIDIA H100 Tensor Core GPU,具有640 GB高帶寬GPU記憶體,同時提供第三代AMD EPYC處理器、2TB系統記憶體和30 TB本地NVMe儲存。Amazon EC2 P5執行個體還提供3200 Gbps的聚合網路頻寬並支援GPUDirect RDMA,進而能夠繞過CPU進行節點間通訊,實現更低的延遲和高效的橫向擴展效能。

AWS和NVIDIA合作十多年來成果豐碩,推出了包括支援視覺運算、人工智慧和高效能運算集群的各種GPU執行個體,如CG1執行個體(2010年)、G2(2013年)、P2(2016年)、P3(2017年)、G3(2017年)、P3dn(2018年)、G4(2019年)、P4(2020年)、G5(2021年)和P4de(2022年)執行個體。

Amazon EC2 P5執行個體非常適合訓練和執行越來越複雜的大語言模型和電腦視覺模型,以滿足最苛刻的運算密集型生成式AI應用的需求,包括問答、程式碼生成、影片和圖像生成、語音識別等。與上一代基於GPU的執行個體相比,Amazon EC2 P5執行個體在這些應用中的訓練時間縮短了6倍。那些可以在工作負載中使用較低精度FP8資料類型的客戶,例如使用Transformer模型架構的語言模型,將透過NVIDIA Transformer Engine的支援獲得高達6倍的效能提升。

#GPU #NVIDIA #AI #NVIDIA H100 GPU #Amazon EC2 P5 #科技