当高启强给泰叔说「风浪越大，鱼越贵」的时候，大概率没想到，这句话竟也适用于芯片行业。
这几年是人工智能的大年，风口之上，不只有绿厂一骑绝尘，各家芯片大厂也纷纷调转船头，希望在AI的海里多捞几条大鱼。
相比之下，另外一个技术半球、曾经风浪也很大的领域——云计算，貌似消停了不少。消停到以至于很多人没注意一个相当重磅的消息：
7月初，亚马逊云服务官宣，他们最新的Graviton4芯片，已经完成了大规模部署。
这个消息之所以值得关注，是因为Graviton芯片本身就非常值得关注。遥想当年亚马逊云科技作为第一个吃螃蟹的人、以云计算公司的身份开始自研芯片，到现在Graviton4芯片大规模部署商用，这个过程中他们已经引领了三波重要的技术趋势：
趋势一：云厂商自研芯片，并由此构建独特的核心竞争力
趋势二：Arm架构在云端、消费端等各个场景的广泛使用
趋势三：软硬结合开启了更多创新机会，AI也是其中之一
今天这篇文章就帮你详细拆解下，Graviton4的大规模商用部署，是否会在科技领域掀起另一波滔天巨浪。
分析技术趋势之前，我们必须先来回顾和梳理一下Graviton这颗芯片的成长历程。
2015年，亚马逊花3.5亿美元收购了一个以色列的芯片公司Annapurna Labs，这成为Graviton芯片诞生的开端。站在现在的上帝视角往回看，这次3.5亿美元的收购撬动了超过4000亿美元的全球云计算市场。
事实上，两家公司在收购之前就已经有很密切的合作了。亚马逊云科技的当家技术叫做Amazon EC2，也就是Elastic Compute Cloud的缩写。这个东西是一个云计算的基础性平台，包括人工智能在内的很多应用，其实都是运行在这个平台上的一个个实例（instance）。所以这两家公司当时合作的重点，就是不断迭代Amazon EC2的性能和灵活性。但越迭代他们就越发现，软件优化的油水被榨的差不多了，各种瓶颈已经从软件转移到了硬件。更聚焦的说，瓶颈就是芯片。
本质原因很简单，市面上卖的各种芯片大都是通用芯片，并不会根据某个客户的需求做定制优化，即便是亚马逊云科技这样的超级大客户也不行。
于是他们决定，要自研芯片。
在2016年的re:Invent大会上，亚马逊云科技的传奇工程师James Hamilton就从口袋里拿出了他们自研的第一颗数据中心芯片，用来支持2x25G以太网的数据包处理。当时给业界带来的震撼程度，丝毫不亚于ChatGPT的发布。因为人们突然意识到，原来云厂商能打破次元壁，去抢芯片公司的饭碗，而且可以做的很好。
更加震撼的是，Graviton的芯片架构没有选择当时占据99%市场份额的x86，而是选择了基于Arm的Neoverse内核打造。要知道当时行业的普遍认知是，Arm只适用于低功耗和移动端场景，PC都费劲，更不用说有着高性能高功耗的数据中心服务器场景，真的开眼了。
芯片工程师们也集体沸腾了，因为这相当于给他们开启了一片职业生涯的蓝海。原来我们也能去互联网和云计算公司，分享一波互联网的红利。
两年后，亚马逊云科技在2018年的re:Invent大会上正式发布了第一代Graviton处理器、2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4，保持了两年一更的节奏，而且每代都取得了极大的飞跃和提升。值得特别注意的是，Graviton是基于Arm架构的服务器CPU芯片，目前驱动了超过150种计算实例、全球超过5万家企业和开发者在使用，这里面的意义是不言而喻的。
具体来看Graviton4芯片，和前一代相比，核心数提升50%，达到96个；每个内核采用了当前最顶级的Arm Neoverse V2架构，这也是业界最早支持Arm v9架构的芯片之一。存储方面，Graviton4在缓存容量、内存容量和带宽等多个方面全面升级。比如每个核心的L2缓存扩大一倍到2MB，这样二级缓存总量达到192MB；同时支持12通道DDR5-5600，内存带宽提升75%，峰值带宽可以达到537.6GB/s。高速接口方面，Graviton4支持高达96通道的PCIe 5.0高速接口，非常适合数据中心云计算和云存储场景。
更重要的是，Graviton4的设计范式也在悄然改变。传统CPU的评价机制一般都是各种benchmark（基准测试），比如Microbench、SPEC等。但随着业务的不断细化、应用场景不断增加，原来那些统一的benchmark可能很难代表某个应用场景的需求。很可能成了一个跑分大杀器，但实际使用的时候达不到要求。根据亚马逊云科技在上海 Summit 上展示的材料，也充分对比了 Micro benchmark 和真实工作负载在 CPU 上的表现有很大差异。
于是从Graviton4开始，亚马逊云科技的造芯思路就从跑分转移到面向实际应用做设计，让芯片更加贴近使用场景，规避不必要的「内卷式」优化。
当然，这也是亚马逊云科技这样的云厂商才能有的「特权」。一个CPU的参数茫茫多，牵一发则动全身，所以特别需要知道哪些参数是重要的、哪些可能没那么重要。相比传统芯片设计公司，云厂商有大量实际场景和案例，对不同应用的侧重点和优化方向有第一手资料，相当于坐拥一个大宝藏了。而且这些应用更贴近自己的业务场景，也不需要为其他云计算公司的其他业务做妥协。
再详细聊聊前文说的Graviton带来的三个技术趋势。第一个趋势，就是在亚马逊云科技的造芯「示范效应」下，全球各家云厂商都纷纷开始自研芯片了，而且自研芯片给亚马逊云科技自己的业务也带来了实打实的提升。
根据亚马逊云科技的数据，和前一代相比，基于Graviton4的R8g实例性能提升30%，数据库性能提升40%。国外也有手快的人第一时间做了测试，在HPC、加密、代码编译、模拟仿真、光线追踪等实际应用场景下，Graviton4都取得了不错的提升。
比如做数字芯片仿真常用的Gem5模拟器，编译一个大型芯片的仿真需要很久，所以编译速度非常关键。但从测试结果可以看到，使用R8g实例后编译速度明显提升，不仅比前几代有大幅提升，也比大厂的产品有23%~49%的提升。
之所以Graviton能在短短几年取得如此亮眼的成绩，一个重要的原因就是采用了Arm指令集架构，这也是他们引领的第二个技术趋势。x86服务器芯片其实起源于客户端芯片，然后逐渐往里面增加服务器芯片需要的功能。而亚马逊云科技没有这样的包袱，他们就专注于服务器芯片本身，在利用了Arm架构低功耗、低延时的优点的同时，还结合自己的应用做了大量性能优化，也让Graviton成为了Arm架构在高性能计算领域的成功范例。
比如，Honeycomb公司在测试了R8g实例后发现，和x86架构相比，Graviton在降低尾延时方面效果最明显。与基于 Graviton3的 C7g、M7g 或 R7g 实例相比，R8g实例运行的副本数可减少 25%、中位数延迟降低20%，第99百分位延迟降低了10%。
不仅如此，Graviton已经开始进军AI领域。它特别内置了可伸缩矢量扩展（SVE）技术，它是单指令多数据（SIMD）的进一步延伸，允许CPU自由使用不同的向量长度，从而实现更加灵活的数据访问和计算，这也是Arm架构支持AI计算的杀手级技术之一。在Graviton4中，每个内核就集成了4个128位的SVE-2矢量引擎，明显就是着重发力高性能计算和AI应用。
此外，Armv8.6-A架构中还特别添加了SMMLA和FMMLA，可以在不同宽度的阵列上同时执行通用矩阵乘法，并且将取指周期缩短最高4倍、将计算周期缩短达16倍。
这些是Arm架构针对ML和AI的优化，Graviton其实也做了很多自己的进一步优化。比如面向大语言模型的推理应用时，Graviton针对int4和int8内核进行了优化，从而更好支持这些低精度数据指令。
根据亚马逊云科技的数据，在Llama3-8B模型的推理应用里，当进行提示词处理和Token生成时，Graviton3比友商的第四代至强和第四代EPYC都取得了明显性能提升。那用了Graviton4之后，随着单核性能至少提升30%，整体AI能力更是降维打击前一代。
Graviton带来的第三个技术趋势，就是借助Graviton的加持，让亚马逊云科技这样的云计算公司更快从通用计算进军AI计算。未来的AI领域，大模型训练或许只是少数，而基于大模型的推理才是更加广泛的应用。这时算力就不完全是绝对且唯一的考虑因素，人们还需要思考更多关于功耗、成本、延时这些同样关键的指标。
很多人认为自研芯片是个投入极高的事情，事实也的确如此。但一旦芯片大规模量产部署，边际成本就会越来越低，自研芯片的成本优势甚至会在这个时候凸显出来。芯片界大神Jim Keller曾经说过，当摩尔定律驱使单颗芯片上晶体管数量不断增加的时候，单纯追求更多晶体管并没有意义，有意义的是如何把这些多出来的晶体管用起来。
通过自研芯片，能去掉很多自己业务场景中不会出现、或极少出现的情况，让芯片的每个晶体管都能用起来。相比之下，芯片厂商需要兼顾不同客户之间的通用性，所以会不得不各种「端水」，造成面积和晶体管的浪费。这也是为什么基于Graviton的云计算实例更便宜的本质原因。
其实，很多传统云计算或许还有一些「历史包袱」，比如成堆的历史代码都是面向x86架构开发的，移植到Arm架构需要一定的时间和努力。但面向AI、特别是大模型相关的应用时，x86和Arm几乎是站在同一条起跑线，这也给没有历史包袱的Arm架构在AI端的应用提供了新的机会。
图灵奖得主John Hennessy和David Patterson说过，当前是计算机架构的新黄金时代。他们做的一个重要预言，就是CPU的架构将朝着更加精简的方向发展。而这条预言，几乎已经被Graviton变成了现实。
Graviton引领的三个技术趋势或许只是表象，当人们几乎一致认为x86 CPU就是终极解法时、当人们认为AI芯片等同于GPU时，它为我们揭示了技术发展更多的可能，并由此带来芯片设计范式的变革——这或许才是Graviton给行业带来的更大意义。
亚马逊云科技re:Inforce 2024中国站即将拉开帷幕！
免责声明：此文内容为第三方自媒体作者发布的观察或评论性文章，所有文字和图片版权归作者所有，且仅代表作者个人观点，与 无关。文章仅供读者参考，并请自行核实相关内容。投诉邮箱：editor@fromgeek.com。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
