端側(cè)多模態(tài)數(shù)據(jù)的智能解析技術(shù)是當(dāng)前制約自動駕駛,、人形機器人,、低空經(jīng)濟等戰(zhàn)略新興產(chǎn)業(yè)快速發(fā)展的技術(shù)瓶頸之一。機載,、車載,、可穿戴傳感器等端側(cè)設(shè)備持續(xù)生成空前規(guī)模的數(shù)據(jù)，這些數(shù)據(jù)涵蓋文本,、圖像,、點云、音頻,、視頻等多種異構(gòu)形態(tài),。推進對多模態(tài)大模型的端側(cè)部署，通過模型量化,、知識蒸餾等技術(shù)實現(xiàn)百億參數(shù)大模型在終端設(shè)備的實時運行和多模態(tài)數(shù)據(jù)智能實時解析,，不僅有望使我國在AI技術(shù)競爭中獲得先發(fā)優(yōu)勢，還可能成為解鎖產(chǎn)業(yè)智能化升級的關(guān)鍵密碼,，為我國發(fā)展新質(zhì)生產(chǎn)力注入核心動能,，具有重大戰(zhàn)略意義。
多模態(tài)大模型技術(shù)優(yōu)勢顯著
作為人工智能研究前沿,，多模態(tài)大模型通過統(tǒng)一架構(gòu)處理多模態(tài)輸入與輸出,，不僅能實現(xiàn)跨模態(tài)數(shù)據(jù)的高效融合與理解，更能挖掘模態(tài)間的關(guān)聯(lián)性與互補性,，推動人工智能技術(shù)從單維感知向多維認(rèn)知躍遷,。當(dāng)前，主流多模態(tài)大模型的參數(shù)量級已經(jīng)突破百億規(guī)模,，在多類復(fù)雜任務(wù)中展現(xiàn)出卓越的性能,。具體而言，其技術(shù)優(yōu)勢主要體現(xiàn)在以下三個方面。
一是跨模態(tài)統(tǒng)一建模,。多模態(tài)大模型實現(xiàn)了對異構(gòu)數(shù)據(jù)的一體化處理與理解,，有效緩解了傳統(tǒng)多模型拼接帶來的系統(tǒng)復(fù)雜性問題。例如,，自動駕駛系統(tǒng)可以利用多模態(tài)大模型同步解析攝像頭采集的視頻和激光雷達采集的三維點云,，實現(xiàn)更準(zhǔn)確的場景感知與更安全的行為決策。
二是高階感知能力,。多模態(tài)大模型基于海量多模態(tài)數(shù)據(jù)和復(fù)雜訓(xùn)練任務(wù)完成訓(xùn)練,，可以結(jié)合多源信息實現(xiàn)精準(zhǔn)語義關(guān)聯(lián)、復(fù)雜場景理解,，以及因果推斷與內(nèi)容生成,。例如，主流多模態(tài)大模型已經(jīng)在圖文問答,、視頻摘要生成,、多模態(tài)檢索、視頻圖像生成等任務(wù)中展現(xiàn)出優(yōu)越性能,。
三是泛化性與通用性,。多模態(tài)大模型可以通過大規(guī)模預(yù)訓(xùn)練獲得多模態(tài)數(shù)據(jù)的通用表征、知識記憶和推理能力,，可以有效適配新任務(wù),、新數(shù)據(jù)、新場景,。多模態(tài)大模型已成為實現(xiàn)“通用人工智能（AGI）”的關(guān)鍵路徑之一,。
端側(cè)部署面臨算力約束與適配難題
多模態(tài)大模型的發(fā)展遵循“規(guī)模定律”，即性能隨模型參數(shù)量,、訓(xùn)練數(shù)據(jù)量和算力資源的增加而提升,。因此，多模態(tài)大模型性能的提升,，需要復(fù)雜計算架構(gòu),、龐大數(shù)據(jù)量、大能耗等支撐,，導(dǎo)致大模型難以在自動駕駛車輛,、無人機等算力受限的終端設(shè)備上有效運行。因此,，盡管多模態(tài)大模型技術(shù)優(yōu)勢顯著,、應(yīng)用前景廣闊，但其在終端落地仍需打破算力與適配瓶頸,。
首先,，算力約束有待突破,。百億級參數(shù)模型需超算平臺支撐，而終端設(shè)備（如車載芯片,、無人機）的算力與能耗受限,，導(dǎo)致多模態(tài)大模型在端側(cè)實時運行困難。如果將多模態(tài)數(shù)據(jù)在端側(cè)壓縮后傳輸至云側(cè)處理則面臨壓縮失真,、響應(yīng)延遲,、隱私泄露等諸多風(fēng)險。
其次,，適配難題尚需破解,。端側(cè)場景動態(tài)多變,、任務(wù)多樣,，要求多模態(tài)大模型進行有針對性的優(yōu)化與適配，利用有限算力獲得最優(yōu)性能,。然而,，端側(cè)數(shù)據(jù)具有標(biāo)注缺失率高、數(shù)據(jù)規(guī)模有限以及分布動態(tài)等特點,，難以支撐多模態(tài)大模型對端側(cè)場景的快速學(xué)習(xí)與適配,。
需在三個層面開展創(chuàng)新研究
打破算力與適配瓶頸，實現(xiàn)多模態(tài)大模型的高效端側(cè)部署,，需要從計算架構(gòu),、協(xié)同學(xué)習(xí)、算力硬件三個層面開展創(chuàng)新,。
首先,，要創(chuàng)新端側(cè)高效計算架構(gòu)，包括輕量化跨模態(tài)融合模塊,、硬件感知模型壓縮技術(shù),、低復(fù)雜度計算模型等。針對多模態(tài)數(shù)據(jù)特有的模態(tài)內(nèi)及模態(tài)間冗余問題,，需研發(fā)輕量化跨模態(tài)融合模塊,，通過特征壓縮和選擇性融合機制降低多模態(tài)特征計算復(fù)雜度。當(dāng)前基于多塔架構(gòu)的模型雖能處理各模態(tài)特征,，但其串行處理模式導(dǎo)致重復(fù)計算和資源浪費,。新一代架構(gòu)需實現(xiàn)模態(tài)特征的并行交互處理，例如采用動態(tài)門控機制自動篩選關(guān)鍵特征,，降低特征數(shù)量與計算量,。同時，需要針對端側(cè)設(shè)備的硬件特性（如異構(gòu)計算單元,、內(nèi)存帶寬限制等）,，以及任務(wù)特點（如感知任務(wù),、生成任務(wù)等）進行深度優(yōu)化，開發(fā)硬件感知的模型壓縮技術(shù),，通過混合精度量化,、稀疏化剪枝等方法，使模型在保持性能的同時適配移動GPU,、NPU等各類端側(cè)芯片,，并實現(xiàn)對不同任務(wù)的優(yōu)化處理。此外,，還需突破傳統(tǒng)Transformer模型的平方級復(fù)雜度限制,，探索基于網(wǎng)絡(luò)架構(gòu)自動搜索、狀態(tài)空間模型或卷積—注意力混合架構(gòu)的替代方案,，降低模型計算復(fù)雜度,。
其次，要構(gòu)建端云協(xié)同學(xué)習(xí)與推理機制,，利用知識蒸餾與動態(tài)增量學(xué)習(xí)充分發(fā)揮云端大模型的強大泛化能力和端側(cè)數(shù)據(jù)的實時性優(yōu)勢,，實現(xiàn)多模態(tài)大模型對端側(cè)的增量學(xué)習(xí)與動態(tài)適配。一方面要通過知識蒸餾技術(shù),，利用云端模型為端側(cè)生成高質(zhì)量的偽標(biāo)簽和特征表示,，有效彌補端側(cè)標(biāo)注數(shù)據(jù)不足。另一方面要采用參數(shù)解耦和動態(tài)微調(diào)策略,，將模型劃分為固定通用知識的共享層和可動態(tài)調(diào)整的任務(wù)特定層,，使端側(cè)模型既能保持已學(xué)知識，又能增量學(xué)習(xí)新知識,，快速適應(yīng)新場景和新任務(wù),。同時，要設(shè)計分層決策推理方法,，在端側(cè)處理實時簡單任務(wù),，在云端處理復(fù)雜計算，實現(xiàn)算力與效能的平衡優(yōu)化,。端云協(xié)同不僅可以解決多模態(tài)大模型在自動駕駛,、智能終端等場景的落地難題，還可以推動人工智能從“集中式智能”向“分布式智能”的范式升級,，為產(chǎn)業(yè)智能化轉(zhuǎn)型提供關(guān)鍵技術(shù)支撐,。
再次，要布局新型算力硬件研發(fā),。新型算力硬件的突破性發(fā)展可為多模態(tài)大模型的端側(cè)部署開辟新路徑,。目前，3D堆疊,、chiplet等先進封裝技術(shù)的成熟,，為端側(cè)設(shè)備集成了專用AI加速模塊,、通用計算單元和傳感處理器等異構(gòu)算力，為多模態(tài)大模型提供兼顧性能與能效的硬件底座,。未來,，需持續(xù)突破半導(dǎo)體制造工藝。2納米及以下先進制程的持續(xù)演進可以使得端側(cè)芯片在算力密度和能效比上實現(xiàn)跨越式提升,，為百億參數(shù)模型的本地化部署創(chuàng)造硬件條件,。同時要創(chuàng)新神經(jīng)形態(tài)計算架構(gòu)，特別是要協(xié)同發(fā)展脈沖神經(jīng)網(wǎng)絡(luò)與類腦芯片,，爭取通過模擬生物神經(jīng)元的脈沖編碼機制,，在改進計算精度的同時實現(xiàn)能效比的突破性提升。此外,，要研發(fā)高性能光電互聯(lián)I/O芯片,，利用其光通訊超高帶寬、遠距離傳輸?shù)葍?yōu)勢,，大幅提升云端算力平臺上多GPU的互聯(lián)效率,，有力保障分布式學(xué)習(xí)與推理中多模型間的通訊效率，為構(gòu)建高效的端云協(xié)同計算架構(gòu)奠定硬件基礎(chǔ),。這一系列創(chuàng)新將為多模態(tài)大模型的端側(cè)部署提供新型硬件支撐，重塑人工智能計算的產(chǎn)業(yè)格局,。（張史梁）
責(zé)任編輯：張鈺
