1月26日，阿里云公布多模态大模型研究进展。通义千问视觉理解模型Qwen-VL再次升级，继Plus版本之后，再次推出Max版本，升级版模型拥有更强的视觉推理能力和中文理解能力，能够根据图片识人、答题、创作、写代码，并在多个权威测评中获得佳绩，比肩OpenAI的GPT-4V和谷歌的Gemini Ultra。
LLM（大语言模型）之后，大模型领域的下一个爆点是什么？多模态是当前最具共识的方向。过去半年来，OpenAI、谷歌等争相推出多模态模型，阿里云也在2023年8月发布并开源具备图文理解能力的Qwen-VL模型，Qwen-VL取得了同期远超同等规模通用模型的表现。
视觉是多模态能力中最重要的模态，作为人类感知世界、认知世界的第一感官，视觉传递的信息占据了“五感”信息的80%。通义千问视觉语言模型基于通义千问LLM开发，通过将视觉表示学习模型与LLM对齐，赋予AI理解视觉信息的能力，在大语言模型的“心灵”上开了一扇视觉的“窗”。
相比Qwen-VL，Qwen-VL-Plus和Qwen-VL-Max拥有更强的视觉推理和中文理解能力，整体性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等测评中远超业界所有开源模型，在文档分析（DocVQA）、中文图像相关（MM-Bench-CN）等任务上超越GPT-4V,达到世界最佳水平。
基础能力方面，升级版模型能够准确描述和识别图片信息，并且根据图片进行信息推理、扩展创作；具备视觉定位能力，还可针对画面指定区域进行问答。
视觉推理方面，Qwen-VL-Plus和Qwen-VL-Max可以理解流程图等复杂形式图片，可以分析复杂图标，看图做题、看图作文、看图写代码也不在话下。
Qwen-VL-Max看图做题
图像文本处理方面，升级版Qwen-VL的中英文文本识别能力显著提高，支持百万像素以上的高清分辨率图和极端宽高比的图像，既能完整复现密集文本，也能从表格和文档中提取信息。
Qwen-VL-Max复现密集文本
相比LLM，多模态大模型拥有更大的应用想象力。比如，有研究者在探索将多模态大模型与自动驾驶场景结合，为“完全自动驾驶”找到新的技术路径；将多模态模型部署到手机、机器人、智能音箱等端侧设备，让智能设备自动理解物理世界的信息；或者基于多模态模型开发应用，辅助视力障碍群体的日常生活，等等。
目前，Qwen-VL-Plus和Qwen-VL-Max限时免费，用户可以在通义千问官网、通义千问APP直接体验Max版本模型的能力，也可以通过阿里云灵积平台（DashScope）调用模型API。
免责声明：此文内容为第三方自媒体作者发布的观察或评论性文章，所有文字和图片版权归作者所有，且仅代表作者个人观点，与 无关。文章仅供读者参考，并请自行核实相关内容。投诉邮箱：editor@fromgeek.com。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- ASML突然暴雷，中国不买了，美国和日本芯片设备的好日子没了
- 松柏傲霜时：保利发展加速转型，华为带来技术支柱
- “天才少女”姜萍去哪儿了？阿里巴巴闭口不谈竞赛
- 拥有独到技术优势的台积电，迫使美国芯片低头，接受涨价要求
- 这个双11，品牌力和经营力，京东帮品牌们一站拿捏
- 加码电站硬科技，阳光新能源重磅发布电站“魔方”技术平台
- 李彦宏眼中的AI之路：泡沫不可避免，要成为1%
- 某“口红一哥”带货越来越贵 妈妈内衣涨4倍 百元以下洗发水消失
- 刚筹建28纳米芯片工厂，印度就吹更大的牛，将在8G领先全球！
- 骁龙8G3手机纷纷降价，这些手机已降至2000元，双十一值得买
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
