大模型、AI、算力，是科技行业当前最热门的词汇。大型科技企业纷纷入局，腾讯作为AI Infra的主流玩家，在9月5日开幕的2024腾讯全球数字生态大会上发布了新一代大模型“混元Turbo”，以及AI Infra品牌“腾讯云智算”，加速释放AI生产力。
其中，腾讯云在大会的“AI基础设施专场”重磅发布了智能高性能网络IHN。作为“腾讯云智算”的网络底座，IHN为“腾讯云智算”的卓越性能提供了坚实的基础。腾讯云网络VPC产品负责人王营对IHN进行了全面解析，深入分享了IHN产品的网络架构和技术创新。
算力集群依赖网络性能
2017年Transformer时代开启，AGI展现出变革经济社会的巨大潜能，各类基于大模型的AI应用，例如聊天机器人、文生图、文生视频纷纷面世。大模型从GPT3.0逐步迭代至GPT4，集群规模也从百卡、千卡、万卡逐步提升至十万卡，展现出AI对算力的强劲需求。
数据显示，在过去四年间，推理算力提升了32倍，训练算力提升了16倍，两者均呈现出陡峭的增长曲线。然而，相比之下，网络带宽的增长仅为4倍，这一增速远不及算力的飞跃，导致了网络带宽在支撑快速增长的算力性能时显得力不从心，陷入“拖后腿”的尴尬境界;此外随着芯片厂商加大GPU布局，智算中心内出现了越来越多来自不同厂商、不同型号的GPU，网络侧的“担子”愈加沉重，亟待支持高效的异构组网方案，提高算力性能。
王营谈到了四个挑战：
一是通信带宽，AI大模型场景需要支撑PB级训练数据，GPU卡间需要频繁通信，训练过程中通信占比最高可达50%，通信带宽影响算力性能发挥。
二是网络丢包，训练情况下通常使用RDMA网络进行加速数据的传输，RDMA对丢包比较敏感，根据相关研究报告，网络持续出现0.1%的丢包，可能会导致50%的算力损失。
三是网络延时，AI训练依赖的RDMA网络对延时极度敏感，不同的网络架构延时差最高能够达到5倍。
四是网络故障，大规模集群使得网络故障概率水涨船高，算力卡、光模块、线缆均会导致AI训练任务出现中断，需要从上次存档点重新训练，将造成算力的巨大浪费。
可以说，算力集群的实战表现，严重依赖底层网络性能，大集群不等于大算力。
高性能网络IHN特征详解
面向智算时代，业界首先需要一套大带宽、低延时的无损网络支撑GPU的超强算力;其次，需要极简的运维，提供网络自愈和快速排障能力，提升训练效率;最后，需要具备超强的兼容性，满足异构算力接入和上下游计算、存储协同，构建“算存网”一体化方案。
王营指出，腾讯云智能高性能网络IHN是基于支撑腾讯万卡集群的星脉网络技术，打造的卓越性能与创新价值的商业化产品，旨在解决传统以太网架构与算力基础设施匹配度低的难题。从架构看，腾讯云智能高性能网络IHN分为四个部分：建设系统、控制系统、运维系统、业务网络。
首先是建设系统，一套千卡的GPU集群，一天的空闲最高可产生七十万元的闲置成本，可见网络搭建效率的重要性。IHN提供了从建设到验收到交付的自动化建设系统，通过建模和自动化等多重手段，将千卡集群规模的建设时间控制在30天以内。
其次是控制系统。如同建设高速公路需要有信号控制系统，IHN打造的网络控制系统和端侧控制系统，可实时控制发送报文的路径和效率，提前规避在网络中出现拥塞，实现全局业务流的精准监控、决策和调度，实现分钟级的网络拥塞消除，打造“算力高速公路”。
再次是运维系统。腾讯云IHN运维系统，基于端到端全链路信息采集，实现360度立体无死角监控，支持毫秒级调度、分钟级定位故障和快速自愈。基于系统化的运维流程，配合大量的自动化排障工具，IHN可做到网络故障1分钟发现、3分钟定位，最快5分钟恢复。
最后是业务网络。IHN采用了腾讯全自研的网络设备，包括支持25.6T/51.2T容量交换机，200G/400G硅光模块。基于多轨道网络架构，实现AI流量亲和，路径延时降低40%以上。配合腾讯自研的TCCL集合通信库，实现异构并行通信，训练效率提升20%。同时兼容多个厂商、多种GPU卡，实现异构卡混合部署。
为适配不同场景下客户的需求，如产权独立、自主可控、按需订阅等，IHN支持公有云和私有云的交付形态，提供多产品 协同，一站式的解决方案。王营透露，IHN产品已在腾讯集团内部 使用，作为混元大模型infra网络底座，支持超万卡集群规模、多型号异构算力接入、分钟级故障自愈能力，向上支撑了超过700种集团业务。
基于在腾讯现网业务中的IHN应用，每一轮训练迭代，网络利用率基本稳定在90%以上高位，相比标准以太网架构提升了60%;通信在训练过程中占比降至约6%;各类性能指标均有不同幅度的提升。
结语
面向未来，腾讯云将继续秉承科技创新的理念，持续升级AI基础设施能力。据悉，下一代IHN产品将推出单网口支持800G、整机102.4T容量的自研交换机，具备单GPU直出3.2T超节点特性，并支持在网计算能力，为客户提供更高带宽、更强性能的AI网络方案，成为企业拥抱智算时代的重要帮手。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
