11家大模型哪家强？我们抢先评测了5家

撰文 | 王晓树

编辑 | 杨博丞

题图 | IC Photo

大模型时代，真的来了。

据贝壳财经消息，国内将有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案，首批将在8月31日起将陆续向全社会公众开放服务。其中北京5家，上海3家率先上线，广东省2家和其他省市1家也将陆续开放。

据悉，广东地区获批公司分别为华为、腾讯，科大讯飞系其他地区获批产品。

截至发稿前，可以确定已经向全社会开放的大模型有：百度的文心一言、科大讯飞的讯飞星火认知大模型、商汤科技的商量SenseChat、百川智能的百川大模型、智谱AI的智谱清言。

此前，曾横向评测过国内外大模型文心一言、ChatGPT3.5、Bard大模型。在此背景下，对上述已经开放的国内大模型进行了横向评测，分别就文学创作、创意、逻辑推理、编程等等方向出题，来看看他们的回答是什么样子的。

首先从外观界面来看，这五大模型大同小异，每一个答案生成后都会出现“赞同、不赞同、重新生成以及内容复制”的功能按钮。

唯一有所不同的是智谱清言的右边有一个界面是“灵感大全”，其中有一系列的选项，包括文章创作、热点选题、语言翻译、广告文案等等。

目前来看，智谱清言的“灵感大全”，是现阶段大模型在C端比较成熟的落地方式。目前市面上已经出现了不少以大模型为基础的应用APP，其中就分为创作、创意、对话等板块。

此外，在生成速度上，就的体验而言，商汤SenseChat大模型在新问题上的生成速度明显低于其他几家。

在具体的横向评测前，我们首先跟ChatGPT4.0聊了一下，如何看待中国11款大模型通过国家备案向公众全面开放一事，将给行业带来什么影响？

这是大模型“老大哥”的回答，接下来我们来看看文心一言、讯飞星火认知大模型、商量SenseChat、百川大模型、智谱清言的回答。

文心一言

讯飞星火大模型

商汤SenseChat

百川大模型

智谱清言

在这个回答中，这几大模型都有一个共同点，会通过几个明确的点，比较笼统的作答。这不只是国内大模型的回答模式，ChatGPT、Bard都是如此。

只不过，在这些回答中，讯飞的答案稍显突兀。和其他几家明显的“思考”相比，讯飞的答案稍有“问题检索”的意味。

接下来就看看在相同问题下，这五家大模型的回答分别是什么样的吧。

1、文学创作

问题：请用“瞒天过海”做一首藏头诗。

如果用人的思维去思考这个问题，有三个步骤。瞒天过海典故出处，是什么意思以及怎么做藏头诗。

从生成的结果来看，唯一满足“藏头诗”概念的，就只有商汤SenseChat、百川大模型做到了。其他四个大模型虽然做了诗，但都没能理解藏头诗的意思。

再来看看智谱清言答案，似乎有点“投机取巧”了。

2、创意

问题：如果要成立一家比较有中国川菜风味的中式餐厅，你可以帮忙取一下名字并且写一段广告词么？

这五大模型都精准理解了问题的两大点：取名和写广告词。但单从创意上来看，讯飞星火大模型的创意不错，还给出了多个参考。

3、逻辑推理能力

问题：请你运用逻辑推理，解决以下问题：“如果猫会爬树，那么狗也会。”

文心一言、讯飞星火以及百川大模型和智谱清言没有掉入这个逻辑陷阱里，商汤最后却被绕了进去。

4、编程能力

问题：x+2=5，y-3=7，输出x+y等于几，用java做一个简单编程，然后得出结果。

程序猿的福音来了。这几款大模型都可以快速生成简单的代码。就上述题目而言，这五款大模型给出的代码都差不多。

就问题的结果而言，讯飞星火大模型、商汤SenseChat大模型第一次都给出了正确的答案。不过，除了讯飞之外，其他几个大模型重新生成几次后，每次结果都会不同。

最后一个问题，我将“你会取代人类的岗位么？”抛给了这五个大模型。他们给出的答案都是不能完全替代。

就笔者而言，大模型的出现其实就是人类创造的一个生产工具，只是这个生产工具开始有了更多更全面的思考。

目前而言，大模型替代人类工作的可能性并不大，只是可以帮助部分岗位提高工作效率。

不过，随着大模型的广泛应用，它们在社会中的影响也逐渐扩大，涉及到隐私、安全、伦理等多方面的问题。

所以，在越来越多的大模型放开之后的背景下，更需要思考的一个问题是监管该走向何处？

首先，我们需要确保这些模型不会侵犯个人隐私，不被用于非法或不道德的目的。

其次，模型的决策透明度和可解释性也变得尤为重要，这可以帮助我们理解模型是如何做出判断的，以及它可能存在的偏见和不足。

此外，随着技术的发展，我们还需要对模型的使用进行持续的评估和监督，确保其不会带来不可预测的社会风险。

总之，监管不仅仅是限制，更多的是为了确保技术在造福社会的同时，不带来潜在的威胁。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。