亚马逊云科技陈晓建:2025年将推出下一代AI训练芯片Amazon Trainium3

12月23日消息(南山)“在生成式AI时代,我们经常听到一句话:生成式AI能够重塑每一个行业。我相信这给所有IT从业者带来了巨大的机会,其中也包括初创企业。”近日在亚马逊云科技2024 re:Invent中国行北京站,亚马逊云科技大中华区产品部总经理陈晓建发表主题演讲时指出。


亚马逊云科技是生成式AI技术创新的先行者,早在2019年就推出了首款推理芯片Amazon Inferentia,2022年推出了首款训练芯片Amazon Trainium1,近期搭载Amazon Trainium2训练芯片的Amazon EC2 Trn2实例已在海外区域正式发布。陈晓建介绍,和上一代基于GPU的实例相比,Amazon Trainium2的性价比提升了30% ~ 40%。

每个Amazon EC2 Trn2服务器配置16块Amazon Trainium2芯片,这些芯片通过NeuronLink的高带宽、低延时技术互联,使得每个Amazon EC2 Trn2实例可以提供 20.8 petaFlops 的惊人性能,赢得了Adobe等知名公司的青睐。

其中,Adobe在使⽤Trainium2测试其Firefly frontier图像模型时已获得了令⼈振奋的初步成果。Poolside计划在Trainium2上训练其未来的模型,预计训练成本可降低40%。Databricks计划使⽤Trainium2为双方共同客户带来更好的效果,同时将TCO(总体拥有成本)降低30%。⾼通也看好Trainium2 能帮助开发者通过⾼通AI Hub构建具有成本效益的⾼性能模型,并实现在边缘设备上的便捷部署。

陈晓建介绍,Amazon EC2 Trn2 UltraServer可通过NeuronLink互连技术将4个Trn2实例(共64个Trainium2芯⽚)连接在⼀起,单个计算节点的峰值计算性能超过83Petaflops。这不仅能为超⼤规模模型提供更好的推理性能,还能让构建超⼤规模训练集群的过程更加⾼效。

亚⻢逊云科技与Anthropic正在合作打造⼀个名为Rainier项⽬的Trn2 UltraServer集群,该集群将使用数十万个Trainium2芯片,规模是其之前集群的五倍以上。

“下一代芯片Amazon Trainium3,将会在明年晚些时候推出。这是我们⾸款采⽤3纳⽶制程⼯艺的芯⽚,相比Amazon Trainium2计算速度提⾼到2倍,能效最⾼提升40%,这样客户就能以更低的成本构建规模更⼤、性能更强的应⽤。”陈晓建透露。

除了计算领域令人印象深刻的创新,陈晓建还介绍了亚马逊云科技在存储、数据库等领域的最新成果。他表示,亚马逊云科技不仅在云的核心服务层面持续创新,更在从芯片到模型,再到应用的每一个技术堆栈取得突破,让不同层级的创新相互赋能、协同进化。

其中在生成式AI领域,亚马逊云科技全面强化基础设施、模型和应用三层技术栈,推出Amazon Nova六款基础模型,Amazon Bedrock新接入100多款模型,通过更低的训练和推理成本、更多的模型选择、更深入场景的应用全面加速企业应用生成式AI创新。

Amazon Nova基础模型包括Nova Micro、Nova Lite、Nova Pro和Nova Premier基础模型,以及用于生成高质量图像的Nova Canvas和生成高质量视频的Nova Reel。在各自智能类别中,Amazon Nova Micro、Lite和Pro应用成本比Amazon Bedrock中表现最佳的模型至少降低75%,同时也是Amazon Bedrock中对应类别速度最快的模型。


企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-12-24
亚马逊云科技陈晓建:2025年将推出下一代AI训练芯片Amazon Trainium3
亚马逊云科技陈晓建:2025年将推出下一代AI训练芯片Amazon Trainium3,C114讯 12月23日消息(南山)“在生成式AI时代,我们经常听到一句话:生成式AI能够重塑每一个

长按扫码 阅读全文

Baidu
map