新闻重点：
·在Arm CPU上运行Meta最新Llama 3.2版本，其云端到边缘侧的性能均得到显著提升，这为未来AI工作负载提供了强大支持
·Meta与Arm的合作加快了用例的创新速度，例如个性化的端侧推荐以及日常任务自动化等
·Arm十年来始终积极投资AI领域，并广泛开展开源合作，为1B至90B的LLM实现在Arm计算平台上无缝运行
人工智能(AI)的迅猛发展意味着大语言模型(LLM)的新版本不断推陈出新。要充分发挥AI的潜力并抓住其带来的机遇，需要实现LLM从云端到边缘侧的广泛部署，而这也伴随着对计算和能源需求的大幅增长。整个生态系统正携手寻找应对这一挑战的解决方案，不断推出新的更加高效的开源LLM，以便大规模实现各种AI推理工作负载，加快为用户带来全新、快速的AI体验。
为此，Arm与Meta展开紧密合作，在Arm CPU上启用新的Llama 3.2 LLM，集成开源创新与Arm计算平台的优势，显著推进了解决AI挑战的进程。得益于Arm的持续投资及与新型LLM的合作，Arm CPU运行AI的优势在生态系统中脱颖而出，使Arm成为AI推理开发者的首选平台。
加速云到边缘侧的AI性能
小型LLM(如Llama 3.2 1B和3B)能够支持基于文本的基础生成式AI工作负载，对于大规模AI推理的实现至关重要。通过Arm CPU优化内核在Arm技术驱动的移动设备上运行新的Llama 3.2 3B LLM，可让提示词处理速度提高五倍，词元(token)生成速度提高三倍，在生成阶段实现每秒19.92个词元。这将直接减少了在设备上处理AI工作负载的延迟，大大提升了用户整体体验。此外，当边缘侧能处理的AI工作负载越多，往返云端传输数据所节省的电量就越多，进而节省了能源和成本。
除了在边缘侧运行小型模型，Arm CPU同样支持在云端运行更大的模型(如Llama 3.2 11B和90B)。11B和90B的模型非常适合云端基于CPU的推理工作负载，可生成文本和图像，其中，在Arm Neoverse V2上的测试结果展现出了更大的性能提升。在基于Arm架构的AWS Graviton4上运行11B的图像和文本模型，可以在生成阶段实现每秒29.3个词元的表现，远远超出了人类大约每秒阅读五个词元的速度。
AI将通过开源创新和生态系统协作迅速扩展
能公开获取新的LLMs(如Llama 3.2)至关重要。开源创新正以迅猛速度发展，在之前的版本中，开源社区在不到24小时的时间内便能在Arm上部署并运行新的LLM。
Arm将通过Arm Kleidi进一步支持软件社区，让整个AI技术栈能够充分发挥这一优化的CPU性能。Kleidi可在任何AI框架上解锁Arm Cortex和Neoverse CPU的AI功能和性能，无需应用程序开发者进行额外的集成工作。
通过最近的Kleidi与PyTorch集成以及正在推进的与ExecuTorch集成，Arm正在为基于Arm CPU的开发者提供从云端到边缘侧的无缝AI性能。得益于Kleidi与PyTorch的集成，在基于Arm架构的AWS Graviton处理器上运行Llama 3 LLM的词元首次响应时间加快了2.5倍。
同时，在端侧，与参考实现相比，在KleidiAI库的加持下，使用llama.cpp库在新的Arm Cortex-X925 CPU上运行Llama 3的词元首次响应时间加快了190%。
构建AI的未来
Arm与Meta的合作成为了行业合作的新标杆，汇聚了Arm计算平台的灵活性、普及性和AI功能，以及Meta等行业巨头的技术专长，共同解锁AI广泛应用的新机遇。无论是利用端侧LLM满足用户的个性化需求，如根据用户所处的位置、日程和偏好来执行任务，还是通过企业级应用来优化工作效率，让用户能够更专注于战略性任务，Arm技术的集成都为未来奠定了基础。未来，设备不再只是命令和控制工具，更是能在提升用户整体体验方面扮演积极的作用。
在Arm CPU上运行Meta最新Llama 3.2版本，其AI性能实现了显著提升。这类开放式合作是实现无处不在的AI创新、促进AI可持续发展的最佳途径。通过新的LLM、开源社区和Arm的计算平台，Arm正在构建AI的未来，到2025年，将有1000多亿台基于Arm架构的设备支持AI。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
