6月14日消息,近日智源研究院在北京智源大会上重磅发布了全面开源的“悟道3.0”系列大模型,包括“悟道·天鹰”(Aquila)语言大模型等领先成果。目前,摩尔线程已率先完成对“悟道·天鹰”(Aquila)大模型的推理兼容适配,整个适配过程仅花费不到6小时时间,便实现与摩尔线程自研MUSAChat应用的无缝集成。此前,摩尔线程曾在ChatGLM发布后24小时内实现适配,并在数小时内适配LLaMA模型,摩尔线程CUDA兼容的技术能力一再被验证。
这充分得益于摩尔线程强大的代码移植工具"MUSIFY"。该工具可快速将现有的CUDA程序迁移至摩尔线程MUSA,零成本完成CUDA代码自动移植,之后用户短时间内即可完成热点分析和针对性优化,大大缩短迁移优化的周期,从而使得大模型适配形成了标准“流水线作业”,让开发者可以省时、省力、省事、省心。
目前,基于摩尔线程打造的AI与云计算平台,已经可以运行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等开源大模型,以及摩尔线程自研的MUSAChat和MUSABert等模型的部分训练和推理应用。借助摩尔线程元计算统一系统架构MUSA,用户可以复用PyTorch开源社区的大量模型算子,降低开发成本。与此同时,摩尔线程开源的MT Pytorch可以支持多种模型的推理,覆盖CV、NLP、语音等多个领域,能够运行典型的大模型分布式多卡推理,也可以支持单机多卡与多机多卡的分布式训练。利用数据并行、模型并行以及ZERO等分布式训练技术,MT PyTorch还可以完成简单基础模型以及典型Transformer结构的NLP语言模型的训练。
据悉,智源此次发布的“悟道3.0”系列开源模型涵盖语言、视觉、多模态等基础大模型,其中,“悟道·天鹰”(Aquila)语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。其在中英文高质量语料基础上从0开始训练,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间内,获得比其他开源模型更优的性能。
“悟道・天鹰(Aquila)”语言大模型开源商用许可无疑将会成为自主大语言模型产业生态的一个里程碑事件。摩尔线程也愿与众多优秀的基础模型供应商 合作,携手从硬件、算子、算法多个方面进行 优化,从硬件、软件、模型、业务多个维度赋能应用开发商,致力于让大模型更好赋能千行百业。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- Akamai推出原生连接器方案,确保金融行业API的安全性和稳定性
- 平均每天净赚6.5亿!腾讯Q3净利润598亿元 小程序交易额超2万亿元
- 易点天下亮相首届亚马逊广告开箱盛典,中国企业出海三大营销趋势值得关注
- TechWeb微晚报:双11全网交易总额超1.4万亿元,苹果明年3月发布智能显示器
- 多格式、全模态文件的理解、创作、编辑,用“自由画布”一个就够了
- 讯飞翻译机双十一夺冠:AI大模型赋能跨语言交流新模式
- 微信:视频号直播内测K歌活动因故延期 具体时间另行通知
- 2024天猫双11全周期品牌成交排行榜出炉:苹果、小米、华为拿下手机品牌前三甲
- 百度文心智能体平台推出五大商业组件,已开始帮超10万智能体赚钱
- 中国量产超跑纽北首测完成 雷军转发并祝贺
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。