当前讯息：工联院大模型测评：文心一言在工业领域表现超过GPT3.5，居国内大模型首位
工联院大模型测评：文心一言在工业领域表现超过GPT3.5，居国内大模型首位
近期，中国工业互联网研究院（简称“工联院”）针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示，百度文心一言表现超过GPT3.5，综合评价指数在国内排名第一。
工联院本次评测选取了工业领域典型的八大行业。百度文心一言在电子设备、装备、钢铁、采矿、电力、石化、建材等七大行业均获国内第一。
(相关资料图)
五大院士，八大IEEE Fellow，共十三位顶级专家构成了专家委员会。评测对象涵盖GPT4、GPT3.5、文心一言、ChatGLM等国内外具有代表性的头部大模型。评估结果选取性能前六名的模型进行公布。
百度文心一言在国内“更懂工业”
本次工业知识问答测试主要分为客观题与主观题两大类，总计超过1100个问题。主观题主要考察四大维度：基础能力、语句能力、概括能力和逻辑能力。
评测结果显示，GPT4表现最佳。国内头部大模型表现亮眼，整体与GPT3.5相当。其中百度文心一言表现超过GPT3.5，在国内大模型中排名第一。
在客观题环节，评测结果显示，GPT4与文心一言表现好于其他大模型。但评测结果也同时指出，大模型普遍准确率有较大的提升空间。
主观题方面，国内大模型的基础能力、语句能力与GPT4接近，概括能力、逻辑能力与GPT4有一定差距。
在大模型的自我认知能力和污染问题分析能力上，GPT4相较于其他大模型表现出更好的能力。
大模型发展新热点：丰富特定行业专业知识
虽然国内大模型在本次评测表现较好，甚至在部分行业赶超GPT3.5，但工联院评测报告也指出，国内外通用大模型在工业知识问答领域探索仍处于初级阶段，国内大模型与GPT4有差距，比如行业间的泛化能力有待加强。
实际上，工联院评测报告揭示出通用大模型落地垂直行业的痛点，缺乏特定行业的专业知识。
关于解决难题的方法，工联院评测报告给出的建议是，进一步丰富相关专业领域的数据训练集，进一步进行专业化的微调。
当前，国内科技公司纷纷加强与工业企业合作，期望通过在实际场景中探索应用大模型，弥补差距，赶超GPT4.0。
比如在本次评测中位居国内模型第一的百度文心一言，与南方电网电力调度控制中心在电力调度场景探索使用调度AI大模型。在汽车行业，长安汽车基于百度文心大模型正在开发生成式人工智能产品，赋能一款量产车型，实现提升用户体验的目标。除了能源、汽车制造，百度智能云还在建筑、采矿、物流、纺织等领域，探索使用大模型提升运营效率和用户体验效果。
通过在实际场景的探索应用，科技公司可以积攒更多的行业Know-how（技术诀窍），扩展相关领域的数据训练集。这种外部真实反馈有助驱动大模型更加快速地实现迭代升级。
未来，工联院将持续开展通用大模型在工业领域更多维度的性能评测，包括但不限于大模型的鲁棒性、安全性以及人类大价值观等。
红星新闻记者 胡沛
标签：
精彩推送
新闻快讯
X 关闭
X 关闭
新闻快讯
- 当前讯息：工联院大模型测评：文心一言在工业领域表现超过GPT3.5，居国内大模型首位
- 切尔西有意巴萨中场凯西 多方参与竞争|环球热资讯
- 作文体裁comparison（作文体裁）-世界头条
- 全国首发！楚天龙产品应用于青岛轨交数字人民币无网无电支付
- 教育部紧急提醒！ 资讯
- 张家界市纪委监委举行“七一”表彰大会
- 深圳印力管理有限公司（关于深圳印力管理有限公司介绍）
- 多肉花剑剪掉从哪里剪枝（多肉花剑剪掉从哪里剪）
- （高质量发展调研行）海南文昌冯家湾：从海洋环境“污染源”到渔业转型升级“新引擎” 环球速看
- 中信股份(00267)：中信出版(300788.SZ)收到增值税退税款约1975.83万元
- 第六届工业互联网大会首日：造物云以“电子电路智慧云工厂”亮相
- 产品市场定位策略包括_品类战略：定位理论最新发展相关内容简介介绍 今日播报
- 正海生物：接受深圳证券交易所等机构调研
- MWC上海丨中国移动发布最新5G研究报告 推动新技术创造更多新价值_焦点速递
- 【外服资讯-6.30】超限岬+拿度尼-“划时代超级射手，如约而至”|全球关注
- 环球视点！200多万条！韩国政党掀起“横幅战”，地铁站、路口等地随时可见
- 今日热门!曲折！切尔西为凯塞多不被曼联抬价 愿低价放芒特
- 最新：福鞍股份终止购买天全福鞍100%股权 去年净利降46%
- 热点聚焦：丰田全新一代SUPRA曝光！继续与宝马合作研发，首推纯电车型
- 广和通发布新一代5G FWA解决方案
- 国际金价上涨掀起“淘金热”，唯品会上黄金消费持续升温
- 全球观速讯丨中央气象台发布强对流天气黄色预警
- 环球滚动:溯联股份：公司研发、生产的新能源汽车冷却管路及零部件专门针对新能源汽车液冷技术路线
- 发明专利实质审查生效和公开_发明专利实质审查生效
- 景顺长城张靖：力争在动态变化中构建具有生命力的投资组合|当前观点
- 来吧来吧来吧来吧来吧来吧是哪首歌_哈利波特魔法觉醒来吧来吧抓紧点儿npc在哪哈利波特魔法觉醒巧克力蛙线索第八天位置分享
- 2023年5月升降工作平台租赁景气度指数发布
- 【独家焦点】想入手一辆省油的车？SWM斯威G05用户口碑告诉你是否值得买
- 段三小
- 平安人寿重庆分公司张志鹏日前被罚11万 任职期间事件频出_每日视讯
- 天天看点：旅法大熊猫幼仔“圆梦”7月25日回国
- 宁科生物06月28日被沪股通减持68.75万股
- 中国海军第四十三批护航编队圆满结束对科特迪瓦友好访问_每日头条
- 德信中国(02019.HK)拟2.08亿元出售北京新乐青物业管理70%股权 环球热资讯
- 熔炼提升采矿技能攻略 采矿熔炼升级|今日快看
- 世界热文：6月28日基金净值：鹏华优选回报混合A最新净值1.453，跌0.12%
- 天天百事通！费列罗巧克力贵不贵_费列罗巧克力好吗
- 为什么有人说农夫山泉17.5°橙比较贵还不好吃? 滚动
- 快乐大本营范冰冰范丞丞_快乐大本营范冰冰 环球即时
- 凄凄切切是什么歌 凄凄切切凄凄切切是什么意思
- 全球今日讯！大牙回应陈建州起诉！态度坚定不认怂，喊话：这次会勇敢，法院见 世界实时
- 外交部：望国际原子能机构评估报告经得起检验 勿为日方排海方案背书 环球速读
- 飞龙股份(002536.SZ)：2023年至今已披露的订单生命周期内预计收入47亿元
- 外交部回应“日本疑贿赂国际原子能机构秘书处”_环球资讯
- no是什么意思_No 1是什么意思_当前要闻
- excel做完表格打印时只有一半 为什么excel表格打印只打印一半 环球热推荐
- 世界资讯：限量1000辆！起亚EV6开启盲订 最大续航里程达671公里
- 丽江古城区人民医院开展“优质服务基层行”专项培训会
- 环球快播：大宗交易：机构账户买入科华生物710.5万元（06-28）
- 江苏十三太保 vs. 甘肃兰州：GDP数据对比_今日观点