12月2日消息，昨天，商湯科技正式發(fā)布并開源了全新多模態(tài)模型架構(gòu)NEO，該架構(gòu)由商湯科技和新加坡南洋理工大學(xué)AI技術(shù)實(shí)驗(yàn)室S-Lab合作研發(fā)，是行業(yè)首個(gè)可用的、實(shí)現(xiàn)深層次融合的原生多模態(tài)架構(gòu)，基于NEO架構(gòu)的NEO模型僅用3.9億訓(xùn)練數(shù)據(jù)，就達(dá)到了模塊化架構(gòu)下頂級(jí)VLM（視覺(jué)-語(yǔ)言模型）模型的性能，數(shù)據(jù)量?jī)H需其他同等性能模型的1/10。

從基準(zhǔn)測(cè)試來(lái)看，NEO模型在多模態(tài)能力綜合評(píng)估、跨學(xué)科和復(fù)雜推理等多項(xiàng)指標(biāo)中碾壓上海AI Lab推出的Mono-InternVL-1.5、清華大學(xué)、上海AI Lab聯(lián)合商湯推出的HoVLE等原生VLM模型，還在多項(xiàng)視覺(jué)理解任務(wù)中追平通義千問(wèn)的視覺(jué)語(yǔ)言模型Qwen2-VL、上海AI Lab聯(lián)合商湯推出的InternVL3等基于模塊化架構(gòu)的頂級(jí)VLM模型。

當(dāng)前，業(yè)內(nèi)主流的多模態(tài)模型大多遵循“視覺(jué)編碼器+投影器+語(yǔ)言模型”的模塊化范式，本質(zhì)上仍以語(yǔ)言為中心，圖像與語(yǔ)言的融合僅停留在數(shù)據(jù)層面，視覺(jué)編碼和語(yǔ)言解碼分離，模型學(xué)習(xí)效率低下，在復(fù)雜多模態(tài)場(chǎng)景下處理任務(wù)受限。

為此，商湯科技拋棄了傳統(tǒng)的模塊化結(jié)構(gòu)，推出從零設(shè)計(jì)的NEO原生架構(gòu)。NEO架構(gòu)在注意力機(jī)制、位置編碼和語(yǔ)義映射進(jìn)行了底層創(chuàng)新，構(gòu)建一個(gè)統(tǒng)一的原生基元，讓模型具備統(tǒng)一處理視覺(jué)與語(yǔ)言的能力。

NEO架構(gòu)相關(guān)論文已發(fā)布在arXiv上，題為《從像素到文字——邁向大規(guī)模的原生視覺(jué)語(yǔ)言原始基元（From Pixels to Words — Towards Native Vision-Language Primitives at Scale）》，商湯科技聯(lián)合創(chuàng)始人、執(zhí)行董事及AI基礎(chǔ)設(shè)施和大模型首席科學(xué)家林達(dá)華博士，南洋理工大學(xué)S-Lab負(fù)責(zé)人、副教授劉子緯等均在該論文的作者行列。