新闻重点：
·Arm通过把Kleidi技术集成到PyTorch和ExecuTorch，将关键的AI性能优势从边侧拓展至云端，赋能新一代应用在Arm CPU上运行大语言模型。
·对普及ML工作负载的持续投入将使任一技术栈的开发者能够在最新的生成式AI模型上即刻获得显著的推理性能提升。
·通过扩大与云服务提供商以及主要的ML独立软件开发商合作，进一步赋能全球的AI开发者。
Arm控股有限公司(纳斯达克股票代码：ARM，以下简称“Arm”)近期宣布通过将Arm® Kleidi技术集成到PyTorch和ExecuTorch，赋能新一代应用在Arm CPU上运行大语言模型(LLM)。Kleidi汇集了最新的开发者赋能技术和关键资源，旨在推动机器学习(ML)技术栈中的技术协作和创新。通过这些重要进展，Arm致力于为任一ML技术栈的开发者提供更为顺畅的体验。
Arm战略与生态部开发者技术副总裁Alex Spinelli表示：“Arm正与领先的云服务提供商和框架设计者紧密合作，以打造便捷的开发环境，让软件开发者能够轻松地在基于Arm架构的硬件上加速人工智能(AI)和ML工作负载。自该技术推出的四个月以来，Kleidi已在Arm CPU上加速开发并显著提升主要的AI性能。Arm与PyTorch社区的紧密合作印证了该技术可以大大减少开发者利用高效AI所需的工作量。”
与领先框架集成，实现显著云端优势
在云端，Kleidi以利用Arm Compute Libraries(ACL)增强PyTorch带来的成果为基础，为世界各地在Arm平台上优化AI的开发者打造蓝图。通过为开发者免去不必要的工程工作，以便开发者能将Arm视为运行其关键ML工作负载的首选平台。作为实现这一愿景的关键一步，Arm直接与PyTorch和TensorFlow进行Arm Kleidi Libraries的集成合作，这包括将基本的Arm软件库直接集成到上述的领先框架中。
重要的是，这意味着当新的框架版本发布时，应用开发者能够自动从其大幅的性能提升中受益，而无需额外在Arm平台上重新编译。这项投入已对合作伙伴关系产生了积极影响：
·Arm聊天机器人演示由Meta Llama 3 LLM驱动，并运行在亚马逊云科技(AWS) Graviton处理器上，首次在主线PyTorch中实现了实时聊天响应。
o根据在AWS Graviton4上所测得的数据显示，通过将Kleidi技术集成到开源PyTorch代码库，词元(token)首次响应时间可提高2.5倍。
·通过优化torch.compile以充分利用通过ACL提供的Kleidi技术，在基于AWS Graviton3上所测得的数据显示，各类Hugging Face模型推理工作负载上的性能可提升1.35至2倍。
这些仅是出色的云端示例之一，却代表了在Arm平台上普及ML工作负载时可实现的性能加速类型。Arm将持续投入，以确保开发者的AI应用可以在其技术上从云到边都能完美运行，其中包括实现新功能的向前兼容，进而使得开发者能够即刻从中受益。
合作助力开发者紧跟生成式AI发展步伐
随着新的语言模型版本快速地推陈出新，生成式AI掀起了一波AI创新热潮。Arm持续与ML技术栈的各个关键环节紧密合作，携手AWS和Google等云服务提供商以及Databricks等迅速壮大的ML独立软件开发商(ISV)社区，进而帮助开发者立于技术前沿。
Google Cloud Compute产品管理高级总监Nirav Mehta表示：“Arm和Google Cloud致力于为开发者提升AI的可访问性和敏捷性，而Kleidi代表了通过软硬件协同优化满足AI需求所取得的重要进展。随着我们的客户正积极采用基于Arm架构的定制CPU —— Axion，我们期待在整个ML技术栈中为客户带来更加顺畅的集成体验。”
Databricks软件工程师Lin Yuan表示：“利用Databricks Data Intelligence Platform进行AI和ML工作流的企业，将受益于跨ML软件栈的Arm Kleidi集成所带来的性能优化。借助由Databricks ML Runtime集群提供支持的Arm架构AWS Graviton处理器，企业可以从各种ML软件库的加速中受益，同时降低云服务提供商的成本。”
协助开发者将Arm提供的资源应用到实际用例中至关重要，为此Arm创建示例软件栈和学习资源，向开发者展示如何在Arm CPU上构建AI工作负载，进而迅速推动了Arm系统的广泛采用，并加快了开发者在Arm系统上的部署速度。第一个案例是通过Kleidi技术加速聊天机器人的实现，今年晚些时候ML Ops和检索增强生成(RAG)也将添加至这些用例，并计划在2025年实现更多成果。
持续提升端侧性能
基于Kleidi在端侧的发展势头，KleidiAI还将被集成到ExecuTorch(PyTorch新的端侧推理运行时)。这项集成预计将于2024年10月完成，并有望为目前正在ExecuTorch中进行生产测试或实现的端侧应用带来显著的性能提升。目前已完成的多项KleidiAI集成包括与Google XNNPACK和MediaPipe，以及腾讯的混元大模型，为其实际工作负载带来了显著提升。
Kleidi将继续与PyTorch和ExecuTorch的各版本以及其他主要AI框架进行集成。从云数据中心到端侧设备，开发者现在可以即刻在各类设备上基于Arm平台高效运行高性能AI工作负载。Arm将继续积极地面向PyTorch社区推出增强功能，并专注于针对各种整数格式提供量化优化，进一步提高性能，赋能Arm CPU大规模无缝运行新一代AI体验。
实现更多成果以赋能开发者
PyTorch正在推动ML开发领域的开拓创新。近日，Arm加入PyTorch基金会成为Premier成员，这对于Arm的AI之旅来说，无疑是一个重要时刻。Arm将持续致力于赋能全球各地的开发者在Arm平台上充分发挥端到端AI的潜力，进而塑造前沿的AI和应用功能。
###
附加资源：
关于Kleidi:
Kleidi(古希腊语中意为“钥匙”)基于三大关键支柱而构建：
·开放的Arm技术直接集成至关键框架中，开发者无需任何额外工作，便能使LLM无缝取得Arm CPU性能。Arm将确保新技术始终向前兼容，以便开发者可以立即从中受益。
·通过提供使用指南、学习资源和技术演示等各种资源赋能开发者。
·借助由ML软件供应商、框架和开源项目所构成的活力十足的生态系统，从中取得各类最新的AI功能，让Arm平台成为开发者构建解决方案的首选平台。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
