點擊時代時報
產業動態

亞馬遜AWS推出Amazon SageMaker JumpStart平台上的Meta Llama 3語言模型

2024/04/21

點擊時代時報/記者黃俊傑 報導

亞馬遜AWS推出Amazon SageMaker JumpStart平台上的Meta Llama 3語言模型

新聞視界時報 記者 李翌淳 整理報導

亞馬遜AWS宣布了一項重要消息:Amazon SageMaker JumpStart現已提供Meta Llama 3大型語言模型(LLM),使客戶能夠輕鬆進行部署和推論。

透過Amazon SageMaker JumpStart,客戶可以輕鬆地部署和運行Llama 3模型,無論是8B還是70B參數模型,且兩款模型的上下文長度均達到8k,可廣泛支援推論、程式碼生成和指令跟隨等應用。

AWS的客戶現在可以在美東(北維吉尼亞州)、美東(俄亥俄州)、美西(奧勒岡州)、歐洲(愛爾蘭)和亞太(東京)等區域輕鬆部署Llama 3模型。

他們可以透過點擊或使用SageMaker Python SDK進行部署,並利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能來提升模型的效能,並實施MLOps控制。

免費架站 - 點擊時代網頁設計,新聞視界時報嚴選推薦,AI 世代限時免費架設專屬網站,立即免費諮詢

{{AD21}}

此外,透過這種方式部署的模型始終處於AWS的安全環境下,由客戶的VPC(Virtual Private Cloud)控制,以確保資料的安全性。

亞馬遜AWS透露,Llama 3採用了僅含解碼器的Transformer架構,並搭配高達128k規模的新型分詞器,從而極大提升了模型的效能。

此外,Meta改進的訓練後處理常式大幅降低了誤拒率,進而提高了模型回應的一致性和多樣性。

值得一提的是,Llama 3的性能甚至在某些測試集項目中超越了Llama 2,即使是在Llama 3的8B參數模型也能勝過Llama 2的70B參數模型。

這項新發展將為客戶提供更多靈活性和效能,並進一步加強AWS在人工智慧領域的領先地位。

 

你可能也想看