蚂蚁集团宣布开源代码大模型CodeFuse

9月8日消息，在8日的2023外滩大会分论坛上，蚂蚁集团首次开源了代码大模型 CodeFuse。

据介绍，这是蚂蚁集团自研的代码生成专属大模型，可以根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。

CodeFuse 基于蚂蚁基础大模型研发，在近期代码补全的 HumanEval 评测中，CodeFuse 得分 74.4%，超过 GPT-4（67%）的成绩，也超过了 WizardCoder-34B 73.2% 的得分。本次开源内容包括代码框架、模型等，现已上架相关平台，用户可在 HuggingFace 下载模型。

代码框架部分包括自研的多任务微调（Multi-task fine-tuning，缩写为 MFT）框架。MFT 支持代码生成、代码翻译、测试用例生成、bug 修复等数 10 个任务一起微调。

MFT 微调框架支持蚂蚁自研模型，以及多个开源大模型的代码能力微调。同时，框架内含创新的微调数据打包技术，号称可提升微调速度约 8 倍；并使用多重部署优化技术，使推理加速约 2 倍。

模型部分包括 CodeFuse13B-4K、CodeFuse-CodeLlaMa34B-MFT 两个大模型。模型训练过程中，CodeFuse 使用了程序分析校验技术，对高质量代码数据进行筛选，并构建了代码领域专用字典，编码平均长度低 10%+。

蚂蚁集团透露，CodeFuse 早在 6 月就开始内测，用以真实开发环境，可以助力开发者低门槛编程，例如用自然语言编写 H5 小游戏、快速开发支付宝小程序等。

基于 CodeFuse 的应用场景有开发助手、IDE 插件、数据分析器等，覆盖了目前研发工作的主要需求，在蚂蚁集团内部研发流程中陆续得到验证。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。