近日，此芯科技與百度聯(lián)合發(fā)布基于此芯P1處理器和百度ERNIE4.5的Edge AI端到端解決方案，實(shí)現(xiàn)國(guó)產(chǎn)高性能SoC與大模型的深度協(xié)同。該方案以此芯自研P1處理器（6nm制程/12核Armv9 CPU/30TOPS算力NPU/45TOPS綜合算力)為異構(gòu)計(jì)算基座，深度融合百度ERNIE4.5技術(shù)生態(tài)，成功構(gòu)建從芯片層到模型層以及應(yīng)用層的全棧閉環(huán)，為邊緣端側(cè)AI的落地樹(shù)立全新標(biāo)桿。

ERNIE 4.5開(kāi)源即落地，端側(cè)性能卓越領(lǐng)先

在ERNIE 4.5開(kāi)源首日，此芯科技率先完成多個(gè)模型端側(cè)適配，實(shí)測(cè)性能實(shí)現(xiàn)兩大突破：

·  百億級(jí)模型流暢運(yùn)行：

ERNIE-4.5-21B-A3B（210億參數(shù)）在此芯P1處理器上推理速度近20tokens/s，可支撐復(fù)雜語(yǔ)義理解與多輪對(duì)話場(chǎng)景；實(shí)時(shí)生成100字文本僅需5秒。

·  超輕量化模型極致效能：

ERNIE-4.5-0.3B（3億參數(shù)） 推理速度飆升至122tokens/s，為移動(dòng)/IoT設(shè)備提供“無(wú)感級(jí)”AI交互體驗(yàn)。

此外，依托NPU的異構(gòu)加速，PaddleOCR經(jīng)量化后，可以有效識(shí)別多語(yǔ)種文本，在端側(cè)AI的部署實(shí)現(xiàn)數(shù)據(jù)零外傳、響應(yīng)超低延遲，可以為金融、醫(yī)療、政務(wù)等高敏場(chǎng)景提供安全智能基座。

加碼ERNIE 4.5應(yīng)用引擎，重構(gòu)終端AI體驗(yàn)

基于此芯P1處理器與ERNIE 4.5，雙方構(gòu)建端側(cè)AI全棧解決方案：

圖：Chatbot

此芯科技和百度文心、飛槳的“硬件+模型”協(xié)同優(yōu)化，融合了異構(gòu)計(jì)算架構(gòu)、量化壓縮技術(shù)、端云協(xié)同推理，實(shí)現(xiàn)動(dòng)態(tài)分配計(jì)算任務(wù)，提高復(fù)雜場(chǎng)景的響應(yīng)速度。

此芯產(chǎn)品介紹

此芯P1處理器是此芯科技推出的首款SoC芯片，異構(gòu)集成Armv9.2指令集的12核心CPU、10核心Immortalis G720 GPU和30TOPS（INT8）算力NPU。此芯P1處理器制程工藝為6nm，綜合算力45TOPS（INT8），支持最大64GB共享內(nèi)存，提供高帶寬IO，可滿足端側(cè)AI方案的高性能和擴(kuò)展性要求。此芯科技聚焦于高性能桌面PC產(chǎn)品、智能座艙、具身智能、邊緣計(jì)算等通用智能解決方案

未來(lái)已來(lái)，共筑端云協(xié)同智能體

此芯科技與百度將持續(xù)深化合作，包括ERNIE 4.5更多模型在此芯P1處理器上的輕量化適配、聯(lián)合舉辦開(kāi)發(fā)者大賽，共建大模型端側(cè)開(kāi)源社區(qū)，賦能廣大開(kāi)發(fā)者，并推動(dòng)AI產(chǎn)業(yè)的普惠化進(jìn)程。

此芯產(chǎn)品采購(gòu)渠道：

https://radxa.com/products/orion/o6/#buy

ERNIE 4.5下載地址：

https://github.com/PaddlePaddle/ERNIE

直播預(yù)告

來(lái)源：飛槳PaddlePaddle