6月10日，在第五届智源大会AI系统分论坛上，上海天数智芯半导体有限公司(以下简称“天数智芯”)对外宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院(以下简称“智源研究院”)70亿参数的Aquila语言基础模型，使用代码数据进行继续训练，稳定运行19天，模型收敛效果符合预期，证明天数智芯有支持百亿级参数大模型训练的能力。
图 天数智芯产品线总监宋煜
在北京市海淀区的大力支持下，智源研究院、天数智芯与爱特云翔共同合作，联手开展基于自主通用GPU的大模型CodeGen(高效编码)项目，通过中文描述来生成可用的C、Java、Python代码以实现高效编码。智源研究院负责算法设计、训练框架开发、大模型的训练与调优，天数智芯负责提供天垓100加速卡、构建算力集群及全程技术支持，爱特云翔负责提供算存网基础硬件及智能化运维服务。
图 天数智芯大模型训练全栈方案
在三方的共同努力下，在基于天垓100加速卡的算力集群上，100B Tokens编程语料、70亿参数量的AquilaCode大模型参数优化工作结果显示，1个Epoch后loss下降到0.8，训练速度达到87K Tokens/s，线性加速比高达95%以上。与国际主流的A100加速卡集群相比，天垓100加速卡集群的收敛效果、训练速度、线性加速比相当，稳定性更优。在HumanEval基准数据集上，以Pass@1作为评估指标，自主算力集群训练出来的模型测试结果达到相近参数级别大模型的SOTA水平，在AI编程能力与国际主流GPU产品训练结果相近。
图 基于天垓100算力集群的AquilaCode大模型训练性能采样
天垓100率先完成百亿级参数大模型训练，迈出了自主通用GPU大模型应用的重要的一步。这一成果充分证明了天垓产品可以支持大模型训练，打通了国内大模型创新发展的关键“堵点”，对于我国大模型自主生态建设、产业链安全保障具有十分重大的意义。
接下来，天数智芯将与合作伙伴们继续深入合作，建设更大规模的天垓100算力集群，完成更大参数规模的大模型训练，以自主通用GPU产品更好支持国内大模型创新应用，进一步夯实我国算力基础，助力人工智能产业自主生态建设。
关于智源研究院
北京智源人工智能研究院(简称“智源研究院”)是人工智能领域的新型研发机构。2018年11月14日，联合北京多家人工智能领域优势单位共建。智源研究院的愿景和目标是聚焦原始创新和核心技术，建立目标导向与自由探索相结合的科研体制，营造全球最佳的学术和技术创新生态，推动北京成为全球人工智能学术思想、基础理论、顶尖人才、企业创新和发展政策的源头，率先成为国际领先的人工智能创新中心，推动人工智能产业发展和 应用，改变人类社会生活，促进人类、环境和智能的可持续发展。
关于天数智芯
上海天数智芯半导体有限公司(简称“天数智芯”)是中国领先的通用GPU 高端芯片及超级算力系统提供商。天数智芯以“服务国家战略”为己任，坚持“四个面向”，致力于开发自主可控、国际领先的高性能通用GPU产品，探索通用GPU赶超发展道路，加快建设自主产业生态，为全产业提供高端算力解决方案。未来，天数智芯将坚持中国特色的自主自强创新发展道路，打造更可信、更高效、更绿色的世界一流算力引擎，赋能千行百业数字化转型，促进我国数字经济高质量发展，开启中国引领世界走向元宇宙、数字孪生的崭新一页。
关于爱特云翔
爱特云翔专注为政企客户提供大数据中心、云计算、人工智能服务，是以“cloud + AI”为技术基座的科技创新型企业。爱特云翔目前拥有淄博临淄、宁夏中卫、青岛即墨等三个大数据产业园和IDC，总机柜数为2.2万个，已具备覆盖华北、华中、华东、华南的光纤网络，建立有北京、上海、淄博软件与算法研发中心、济南技术支持中心、深圳硬件设计中心、聊城智能物联生产线，及全国各地子公司等分支机构。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
