当前位置:首页 > 财经新闻 > 大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好

大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好

2025年03月03日69419

  2月25日,记者从世界人工意识协会国际人工智能DIKWP测评标准委员会获悉,由该协会主导、全球10余个国家与地区的90多家机构和企业参与的《全球首个大语言模型意识水平“识商”白盒DIKWP测评2025报告(100题版)》(以下简称《报告》)日前出炉。

大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好
图片来源于网络,如有侵权,请联系删除

  《报告》的核心亮点在于全球首创的意识水平测评体系。《报告》基于DIKWP模型,从数据、信息、知识、智慧、意图等方面,构建全链路评估体系。测试题全面覆盖大语言模型的感知与信息处理、知识构建与推理、智慧应用与问题解决、意图识别与调整四大模块,对主流大语言模型的意识水平进行系统化、量化深度剖析。

大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好
图片来源于网络,如有侵权,请联系删除

  《报告》对当前主流的大语言模型进行了全面测评,包括DeepSeek-V3、ChatGPT-o1、通义千问-2.5、ChatGPT-4o、Kimi、文心大模型-3.5和Llama-3.1等。测评结果显示,不同模型在不同模块的表现各有千秋。

  例如,感知与信息处理部分主要考察模型在处理原始数据、提取信息和保持语义一致性方面的表现。ChatGPT-4o和ChatGPT-o1在数据转换和格式处理方面表现出色,体现出稳定性。ChatGPT-o3-mini、ChatGPT-o3-mini-high、通义千问-2.5、Kimi和Grok在信息提取方面表现优异,特别是在数据到信息转化路径上的表现尤为突出。DeepSeek-R1、ChatGPT-4o、Kimi和ChatGLM-4 Plus在保持语义一致性方面表现较好。

  知识构建与推理部分的测评考察模型将信息整合为知识的能力,以及逻辑推理能力。结果显示,通义千问-2.5、ChatGLM-4 Plus和ChatGPT-4o表现突出。

  意图识别与调整部分的测评重点考察模型对用户意图的理解能力,以及根据意图调整输出的能力。结果显示,豆包和Gemini-2.0 Flash Thinking Experimental表现较好,能够准确理解用户的问题并提供相关回答。 (记者王祝华)

【责任编辑:朱家齐】
    阅读下一篇:

              扫描二维码推送至手机访问。

              版权声明:本文由财界探秘发布,如需转载请注明出处。

              “大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好” 的相关文章

              华尔街知名经济学家:美国国债面临潜在“特拉斯时刻”

              华尔街知名经济学家:美国国债面临潜在“特拉斯时刻”

              图片来源于网络,如有侵权,请联系删除   随着美国最新ISM数据展现经济活动升温、通胀加速的状况,十年期美债收益率再度拉升,迫近4.70%关口,引发美股集体回调。 (十年期美债收益率日线图,来源:TradingView)   这也意味着自从去年9月开始,美联储降息100个基点的...

              openGauss四年蝶变 开放生态再结“硕果”

              openGauss四年蝶变 开放生态再结“硕果”

                在近期举办openGauss Summit 2024大会上,权威机构发布调查报告,在2024年线下集中式关系型数据库新增市场份额,openGauss系再创新高,达30.2%。图片来源于网络,如有侵权,请联系删除  数据库是支撑各类应用软件运行的基础,与操作系统并驾齐驱。中国数据库行业历经二十余年...

              10年期美债收益率突破4.7% 全球资产定价之锚为何“异常”飙升?

              10年期美债收益率突破4.7% 全球资产定价之锚为何“异常”飙升?

                在经济数据冲击下,美联储降息预期再度降温,美债持续遭遇抛售。图片来源于网络,如有侵权,请联系删除   美东时间1月7日,2年期美债收益率盘尾上涨2.7个基点,报4.297%。10年期美债收益率上涨6.1个基点至4.684%,盘中触及4.699%,创2024年4月26日以来最高。30年期美...

              卡游推动潮流文创产业升级 “国潮文化传承与创新发展行动共识”发布会召开

              卡游推动潮流文创产业升级 “国潮文化传承与创新发展行动共识”发布会召开

                1月8日,央广传媒集团举办“国潮文化创新与发展行动共识”发布会,邀请专家学者及潮流文创产业代表,共同探讨国潮文化的创新与发展,在高度重视传统文化现代传播的当下,就如何才能让传统文化焕发新的时代光彩展开深入探讨。图片来源于网络,如有侵权,请联系删除图片来源于网络,如有侵权,请联系删除1月8日,“国...

              监管下发通知 建立预定利率与市场利率挂钩及动态调整机制

              监管下发通知 建立预定利率与市场利率挂钩及动态调整机制

                财联社记者获悉,金融监管总局今日向业内下发了《关于建立预定利率与市场利率挂钩及动态调整机制有关事项的通知》,提出要建立预定利率与市场利率挂钩及动态调整机制,引导公司强化资产负债联动,科学审慎定价。包括:中国行业协会定期组织人身保险业责任准备金评估利率专家咨询委员会成员召开会议,结合5年期以上贷款...

              我国第一代饲料配方工业软件,来了!

              我国第一代饲料配方工业软件,来了!

                我国饲料工业企业目前使用的配方软件八成以上来自国外,这一局面有望被打破。图片来源于网络,如有侵权,请联系删除  记者1月10日从中国农业科学院获悉,中国农业科学院饲料研究所成功研发出我国第一代饲料配方工业软件——“中农科·龙腾”饲料配方工业软件。  业内专家介绍,国外的饲料配方软件主要侧重于大豆...