中國 2024年04月28日——人工智能芯片研發及基礎算力平臺公司愛芯元智宣布，近日，Meta、Microsoft相繼發布具有里程碑意義的Llama 3系列和Phi-3系列模型。為了進一步給開發者提供更多嘗鮮，愛芯元智的NPU工具鏈團隊迅速響應，已基于AX650N平臺完成 Llama 3 8B和Phi-3-mini模型適配。

Llama 3

上周五，Meta發布了Meta Llama 3系列語言模型（LLM），具體包括一個8B模型和一個70B模型在測試基準中，Llama 3模型的表現相當出色，在實用性和安全性評估中，與那些市面上流行的閉源模型不相上下。

官方網址：https://llama.meta.com/llama3

在架構層面，Llama 3選擇了標準的僅解碼（decoder-only）式Transformer架構，采用包含128K token詞匯表的分詞器。Llama 3使用了超過15T的公開數據進行訓練，其中5%為非英文數據，涵蓋30多種語言，訓練數據量是前代Llama 2的七倍。

根據Meta的測試結果，Llama 3 8B模型在MMLU、GPQA、HumanEval等多項性能基準上均超過了Gemma 7B和Mistral 7B Instruct，70B模型則超越了名聲在外的閉源模型Claude 3的中間版本Sonnet，和谷歌的Gemini Pro 1.5相比三勝兩負。

實際上板結果：目前AX650N已經完成了Llama 3 8B Int8版本的適配，若采用Int4量化，每秒token數還能再翻一倍，能滿足正常的人機交流。

Phi-3

Llama 3剛發布沒多久，競爭對手就來了，而且是可以在手機上運行的小體量模型。

本周二，微軟發布了自研小尺寸模型Phi-3。盡管Phi-3-mini被優化至可部署在手機上，但它的性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。微軟表示，該創新主要在于用了質量更好的訓練數據集。

在線DEMO：https://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml

實際上板結果：目前AX650N已經完成了Phi-3-mini Int8版本的適配，已能滿足正常的人機交流。

其他成果

AX650N能第一時間完成Llama 3和Phi-3的適配，源于今年以來相關團隊悄悄完成了現有NPU工具鏈針對大語言模型的支持和調優。目前除了Llama 3之外，已經完成了Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等國內外主流的開源大語言模型適配。

相關成果已釋放到開發者社區（https://github.com/AXERA-TECH/ax-llm）歡迎嘗鮮。

后續計劃

今年是AIPC的元年，愛芯元智將針對AIPC的常見應用提供更多的解決方案。充分發揮愛芯通元NPU高能效比的技術優勢，讓各種有趣的大模型實現高性價本地化部署，做到“人人都用得起大模型”，深入實踐“普惠AI，造就美好生活”。

關于愛芯元智：

愛芯元智半導體股份有限公司成立于2019年5月，致力于打造世界領先的人工智能感知與邊緣計算芯片，服務智慧城市、智能駕駛、機器人以及AR/VR等巨大的邊緣和端側設備市場。公司自研兩大核心技術——愛芯智眸AI-ISP和愛芯通元混合精度NPU，在過去的四年時間里，完成了四代多顆智能芯片產品的研發和量產工作。愛芯元智秉承“普惠AI，造就美好生活”的使命，以“構建世界一流的感知與計算平臺”為愿景，致力于成為物理世界數字化入口，為不同行業提供人工智能的基礎算力平臺，使智能真正觸手可及。