• 
    <ul id="auswy"><sup id="auswy"></sup></ul>
  • <ul id="auswy"></ul>
    ABB
    關(guān)注中國自動化產(chǎn)業(yè)發(fā)展的先行者!
    CAIAC 2025
    2025工業(yè)安全大會
    OICT公益講堂
    當(dāng)前位置:首頁 >> 資訊 >> 行業(yè)資訊

    資訊頻道

    Mistral 發(fā)布 Ministral 3B 和 8B,帶來邊緣計算 AI 新突破!
    • 點(diǎn)擊數(shù):988     發(fā)布時間:2024-10-19 11:13:47
    • 分享到:
    Mistral AI 最近推出了兩款新的 AI 模型,Ministral 3B 和 Ministral 8B。這些模型專為邊緣設(shè)備和本地計算設(shè)計,適合在智能手機(jī)、平板電腦和物聯(lián)網(wǎng)設(shè)備上使用,目標(biāo)是實現(xiàn)低延遲和高效的 AI 推理。
    關(guān)鍵詞:

    Mistral AI 最近推出了兩款新的 AI 模型,Ministral 3B 和 Ministral 8B。這些模型專為邊緣設(shè)備和本地計算設(shè)計,適合在智能手機(jī)、平板電腦和物聯(lián)網(wǎng)設(shè)備上使用,目標(biāo)是實現(xiàn)低延遲和高效的 AI 推理。


    17334549061.png


    1.設(shè)計與應(yīng)用

    這兩款模型被稱為 "les Ministraux",由于它們體積小,非常適合本地部署,可以滿足對隱私保護(hù)的需求。例如,用戶可以在設(shè)備上進(jìn)行翻譯,使用無需網(wǎng)絡(luò)的智能助手,或者進(jìn)行本地的數(shù)據(jù)分析。Ministral 3B 和 8B 都支持長達(dá) 128,000 個 token 的上下文長度,其中 Ministral 8B 還加入了特殊的滑動窗口注意力機(jī)制,進(jìn)一步提升了速度和內(nèi)存效率。


    2.模型特點(diǎn)

    高效的邊緣計算:Ministral 3B 和 8B 針對低功耗和高效率進(jìn)行了優(yōu)化,特別適合在邊緣設(shè)備上進(jìn)行推理,如智能手機(jī)和物聯(lián)網(wǎng)設(shè)備。

    功能調(diào)用能力:這兩款模型都具備強(qiáng)大的功能調(diào)用能力,能夠在多步驟任務(wù)中充當(dāng)代理,幫助管理任務(wù)分配和處理輸入,從而降低整體計算成本。

    Ministral 8B 的增強(qiáng)功能:Ministral 8B 具備“交錯滑動窗口注意力機(jī)制”,顯著提升了推理速度和內(nèi)存利用效率,使其在處理大量上下文任務(wù)時更加高效。

    可調(diào)量化支持:模型支持無損量化,可以根據(jù)具體使用場景進(jìn)行優(yōu)化,以確保在性能和效率之間實現(xiàn)平衡。

    17334549471.png


    3.模型性能

    在多任務(wù)語言理解評估中,Ministral 3B 和 8B 的表現(xiàn)超過了其他同類模型,如 Google 的 Gemma 2 和 Meta 的 Llama 3.2。它們的發(fā)布為那些需要本地推理和高效計算的用戶提供了新的選擇,尤其適合在移動和邊緣設(shè)備上的應(yīng)用場景。


    來源:AI數(shù)智圈


    熱點(diǎn)新聞

    推薦產(chǎn)品

    x
    • 在線反饋
    1.我有以下需求:



    2.詳細(xì)的需求:
    姓名:
    單位:
    電話:
    郵件: