2月25日,,記者從世界人工意識協(xié)會國際人工智能DIKWP測評標(biāo)準(zhǔn)委員會獲悉,,由該協(xié)會主導(dǎo),、全球10余個國家與地區(qū)的90多家機(jī)構(gòu)和企業(yè)參與的《全球首個大語言模型意識水平“識商”白盒DIKWP測評2025報告(100題版)》(以下簡稱《報告》)日前出爐,。
《報告》的核心亮點(diǎn)在于全球首創(chuàng)的意識水平測評體系,?!秷蟾妗坊贒IKWP模型,從數(shù)據(jù),、信息,、知識、智慧,、意圖等方面,,構(gòu)建全鏈路評估體系。測試題全面覆蓋大語言模型的感知與信息處理,、知識構(gòu)建與推理,、智慧應(yīng)用與問題解決、意圖識別與調(diào)整四大模塊,,對主流大語言模型的意識水平進(jìn)行系統(tǒng)化,、量化深度剖析。
《報告》對當(dāng)前主流的大語言模型進(jìn)行了全面測評,,包括DeepSeek-V3,、ChatGPT-o1、通義千問-2.5,、ChatGPT-4o,、Kimi、文心大模型-3.5和Llama-3.1等,。測評結(jié)果顯示,,不同模型在不同模塊的表現(xiàn)各有千秋。
例如,,感知與信息處理部分主要考察模型在處理原始數(shù)據(jù),、提取信息和保持語義一致性方面的表現(xiàn)。ChatGPT-4o和ChatGPT-o1在數(shù)據(jù)轉(zhuǎn)換和格式處理方面表現(xiàn)出色,,體現(xiàn)出穩(wěn)定性,。ChatGPT-o3-mini、ChatGPT-o3-mini-high,、通義千問-2.5,、Kimi和Grok在信息提取方面表現(xiàn)優(yōu)異,特別是在數(shù)據(jù)到信息轉(zhuǎn)化路徑上的表現(xiàn)尤為突出,。DeepSeek-R1,、ChatGPT-4o、Kimi和ChatGLM-4 Plus在保持語義一致性方面表現(xiàn)較好,。
知識構(gòu)建與推理部分的測評考察模型將信息整合為知識的能力,以及邏輯推理能力,。結(jié)果顯示,,通義千問-2.5、ChatGLM-4 Plus和ChatGPT-4o表現(xiàn)突出,。
意圖識別與調(diào)整部分的測評重點(diǎn)考察模型對用戶意圖的理解能力,,以及根據(jù)意圖調(diào)整輸出的能力,。結(jié)果顯示,豆包和Gemini-2.0 Flash Thinking Experimental表現(xiàn)較好,,能夠準(zhǔn)確理解用戶的問題并提供相關(guān)回答,。(記者 王祝華)
編輯:周大為