隨著國家“人工智能+”行動深入推進，大模型正從技術(shù)突破期進入產(chǎn)業(yè)深耕期。在實際應(yīng)用中，海量用戶請求訪問大模型，不可避免地會遇到請求失敗、調(diào)用超時、結(jié)果無法返回等穩(wěn)定性問題。基于此類問題解決方案，中國信通院探索編制《邊緣大模型網(wǎng)關(guān)技術(shù)能力要求》標準，并依托此標準開展評估工作，火山引擎首批圓滿通過此評估。

當(dāng)前，業(yè)界針對調(diào)用大模型反應(yīng)時延高、超時等常見問題，提出了多種類解決方案，其中，利用邊緣節(jié)點實現(xiàn)就近接入、調(diào)用，提升響應(yīng)速度起到有效積極作用。中國信通院聚焦此方向，規(guī)范相關(guān)產(chǎn)品服務(wù)的功能、性能及安全性，為產(chǎn)品質(zhì)量與適用性提供規(guī)范化參考。

邊緣大模型網(wǎng)關(guān)技術(shù)能力要求評估簡介

《邊緣大模型網(wǎng)關(guān)技術(shù)能力要求》是由中國信通院牽頭，聯(lián)合產(chǎn)業(yè)內(nèi)多家企業(yè)、專家共同研討制定的標準，規(guī)定了邊緣大模型網(wǎng)關(guān)提供服務(wù)時，在邊緣接入、模型和智能體調(diào)用支持、AI服務(wù)調(diào)用配置、密鑰管理、運維與監(jiān)控、技術(shù)支持等方面應(yīng)具備的能力要求，適用于邊緣計算服務(wù)商在提供邊緣大模型網(wǎng)關(guān)服務(wù)和解決方案時的能力匹配。

中國信通院依托此標準開展首批邊緣大模型網(wǎng)關(guān)能力評估工作，聚焦面向大模型網(wǎng)關(guān)的功能和性能多個維度。火山引擎深入?yún)⑴c了標準內(nèi)容制定，并圓滿完成首批評估工作。

全維度能力合格，火山引擎邊緣大模型網(wǎng)關(guān)能力獲認可

本次評估圓滿完成，標志著火山引擎邊緣大模型網(wǎng)關(guān)在邊緣接入、模型和智能體支持、調(diào)用配置、密鑰管理、運維與監(jiān)控、技術(shù)支持等方面全維度符合能力標準。

火山引擎邊緣大模型網(wǎng)關(guān)支持通過一個 API 接口訪問多家大模型提供商的模型與智能體，在端側(cè)基于遍布全球的邊緣計算節(jié)點就近調(diào)用。利用邊緣云基礎(chǔ)架構(gòu)優(yōu)勢，提高模型訪問速度，為終端用戶提供更快速、可靠的 AI 服務(wù)體驗。

·  邊緣接入：邊緣大模型網(wǎng)關(guān)提供標準化接口，網(wǎng)關(guān)訪問密鑰與 OpenAI 的 API 和 SDK 完全兼容，面對多樣化的端側(cè)調(diào)用場景，方便集成，降低適配成本。同時，邊緣大模型網(wǎng)關(guān)利用緩存機制對請求就近存儲，并在相同請求發(fā)出時就近調(diào)用，減少模型調(diào)用請求的回源次數(shù)，降低成本，為終端用戶提供更快速、更可靠的 AI 服務(wù)體驗。

·  模型和智能體支持：邊緣大模型網(wǎng)關(guān)支持調(diào)用國內(nèi)主要的模型提供商與多種大模型、智能體。面向多樣化的終端調(diào)用場景，支持多模態(tài)與大語言模型，滿足調(diào)用多模型和多智能體的智能需求。同時，通過預(yù)置多領(lǐng)域 AI 智能體，涵蓋語音對話、文字識別、目標檢測、工業(yè)質(zhì)檢等 AI 能力，支持一鍵調(diào)用，助力快速構(gòu)建場景化解決方案，

·  調(diào)用配置：邊緣大模型網(wǎng)關(guān)具備配置調(diào)用順序、調(diào)用次數(shù)、超時時長等策略的能力，通過配置調(diào)用順序、自動重試、請求超時等能力，實現(xiàn)模型調(diào)用失敗自動請求備用模型、單次請求失敗自動重試、單次調(diào)用響應(yīng)超時配置。

·  密鑰管理：邊緣大模型網(wǎng)關(guān)具備管理訪問密鑰的能力，可直接使用平臺預(yù)置模型并對其創(chuàng)建網(wǎng)關(guān)訪問密鑰，也可以將第三方模型平臺的密鑰納管至邊緣大模型網(wǎng)關(guān)，通過邊緣大模型網(wǎng)關(guān)簽發(fā)的網(wǎng)關(guān)訪問密鑰，進行對應(yīng)模型的訪問與調(diào)用。

·  運維與監(jiān)控：邊緣大模型網(wǎng)關(guān)具備統(tǒng)一監(jiān)控和基礎(chǔ)運維能力，邊緣大模型網(wǎng)關(guān)可根據(jù)您通過網(wǎng)關(guān)向模型發(fā)出的請求以及模型的響應(yīng)來統(tǒng)計您的用量。不同模型提供商對模型用量的計量方式有所不同，根據(jù)模型調(diào)用計量方式，您的調(diào)用詳情可以在用量統(tǒng)計中進行查看。同時，通過云監(jiān)控-大模型網(wǎng)關(guān)模塊，可以查詢以網(wǎng)關(guān)訪問密鑰為維度的總用量（已消耗的 tokens 總量）與用量速率（每秒消耗的 tokens 額度）。

·  技術(shù)支持：邊緣大模型網(wǎng)關(guān)具備全局技術(shù)支持，支持提供故障的處理時間、及時響應(yīng)率、及時解決率；支持提供異常事件的解決時間、及時響應(yīng)率、及時解決率以及事件的報告機制；支持提供變更的受理時間、變更的通知機制以及重大變更的監(jiān)管報送機制。

火山引擎邊緣大模型網(wǎng)關(guān)緊跟模型迭代，全面支持豆包 1.5?深度思考模型、接入主流 DeepSeek 模型提供商，同時發(fā)布端智能實例以及助力自部署模型公網(wǎng)調(diào)用與全鏈路管控，滿足了多模型和多智能體調(diào)用的設(shè)備智能需求，并在 AI 芯片、智能玩具、具身智能等多個行業(yè)場景落地。

中國信通院正持續(xù)開展開展邊緣計算、邊緣AI系列評估工作，歡迎業(yè)界參與!

聯(lián)系人：

王蘊婷 18612060302 wangyunting1@caict.ac.cn

李　昂 13651208710 liang3@caict.ac.cn

來源：CAICT可信數(shù)字化