6月7日消息，7 日，上海人工智能实验室（上海 AI 实验室）、商汤科技联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生・浦语”（InternLM）。“书生・浦语”具有 1040 亿参数，是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。
全面评测结果显示，“书生・浦语”不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各科目的数据集（GaoKao）。
据介绍，“书生・浦语”联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集：由伯克利加州大学等高校构建的多任务考试评测集 MMLU；由微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval；由复旦大学研究团队构建的高考题目评测集 Gaokao。
实验室联合团队对“书生・浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成绩对比如下（满分 100 分）。
可以看到，“书生・浦语”不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval 以及 Gaokao 等多个综合性考试中领先于 ChatGPT；在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出“书生・浦语”扎实的知识掌握程度和优秀的综合能力。
虽然 “书生・浦语”在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生・浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。
另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题；这些局限使得大语言模型在开放场景中的使用还有很长的路要走。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- 特斯拉发布会后股价重挫，市值单日蒸发超4700亿元
- 爱玛科技董事长被留置，股价大跌市值缩水
- AMD股价下挫 发布新型AI芯片但未带来投资者盼望的信息
- 比亚迪上半年研发投入超200亿元，比特斯拉多出约40亿
- 英伟达第二财季营收300.40亿美元 净利润同比大增168%
- 知名特斯拉投资人“心灰意冷”：持仓已砍半，AI和机器人都救不了它！
- 腾讯音乐Q2持续高质量增长：总收入71.6亿元，付费用户数1.17亿
- 微软Q4营收647亿美元净利220亿 盘后一度大跌7%
- 英伟达市值接近苹果 高增长可以持续吗？
- 优信发布财报：零售量环比同比均增长 预计2025财年业务量增长超200%
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
