AI时代,存强则强

2024年,全球各个国家、地区,乃至千行万业都迎来了对AI技术空前高涨的热情与关注。在中国,两会政府工作报告中首次提出了“人工智能+行动”;在欧盟,欧洲会议通过了具有里程碑意义的《人工智能法案》;在中东地区,迪拜通过了最新的人工智能战略,希望打造全球AI中心,沙特建立了数据和人工智能管理局(SDAIA),负责领导国家的AI战略。

今天,AI时代已经真正来临。与此同时,全球各方,产学各界也意识到一个问题:AI绝不仅仅是模型和算法的问题,而是对整个数字化基础设施的全新考验,是一场算力、存力、运力的综合比拼。

其中,存储是一个无法被AI时代忽视的支点。AI大模型对存储提出了哪些需求?什么样的存储,才能够称为AI存储?存储产业如何在新时代找到新路径?

(华为数据存储产品线总裁周跃峰)

带着这些问题,我们来到了华为中国合作伙伴大会2024。与华为数据存储产品线副总裁樊杰进行 交流,了解华为存储走进AI时代的思考与行动。

在本届大会中,华为提出了“以存强算、以存强训、以存强安”的理念,希望为业界打造领先数据基础设施,推进全场景闪存化。在这个节点,回顾华为存储一路走来的战略布局,会发现它的每一步都与AI时代的脉搏紧密相连,提前预判产业走势,最终以极高的效率对大模型训推、数据觉醒等需求给出了精准回应。

当存储产业,面向AI时代的漫漫旷野时,华为存储已经率先实现了AI ready。

我们可以将其定义为一次拓路,帮助存储产业拓开AI之路,帮助全球用户拓开存力之路。

不妨一起来回顾一下,华为存储的AI拓路是如何完成的。通过这个过程,我们能够共同推导出一个结论:AI时代,存强则强。

AI时代,存强则强

在以 学习为基底的本次AI复兴中,智能与数据间的联接价值达到了史无前例的高度。主流AI技术的工作机理,无不建立在算法对数据进行充分学习的基础上。因此,数据的规模庞大、质量高、流动效率强,对AI技术的发展起到了决定性的意义,而数据的保管、流动、安全水平,都建立在存储能力的基础上。

从这个逻辑出发,我们可以发现目前AI技术涉及的各个阶段,都出现了存弱则AI弱,存强则AI强的现象。

首先是在AI模型最基本的训练阶段。

可以看到,随着AI大模型的兴起,大规模集群化训练已经成为主流。而在AI训练集群场景下,任何一个瓶颈点都会影响到整个集群的效率,其中存储的表现尤为关键。比如说,GPU大量时间都在加载数据,如果期间出现加载失败,就需要中断后进行断点重新录入,耗费大量时间。传统的存储解决方案没有适配AI训练的存力加持,会因为存储表现不佳全面拖慢整个AI训练集群的表现。

因此,越来越多的专家与企业认为,AI训练需要专用的存储。比如说,英伟达官方提供的AI训推IT参考架构,就专门强调了大模型训练需要使用外置的专业高性能共享存储,以此来提升训练过程的效率与可靠性。这是因为在万卡集群这样的大规模训练场景下,传统的存储模式会导致单个盘的故障,拖累整体数据传输效率,并且定位故障需要耗费较长的时间,导致训练工作频繁暂停。而让AI算力直通存储的新模式,则可以大幅提升AI训练集群的数据读取效率,进而缩短模型训练时间。要知道,在今天的情况下,AI大模型的训练效率就是千行万业的产业效率。除此之外,适配AI训练的存储,最好还可以实现更高效的数据管理,更简便的数据清洗,以此来全方位强化AI训练工作。

其次,是在企业数据的保存与流通阶段。

伴随着AI技术的崛起,企业的数据价值愈发宝贵,而企业所需要存储的数据量在指数级增长。且原本只需要存放的冷数据,也因为AI技术的加入而变成了温数据,甚至热数据,需要随时参与数据流动。与此同时,在数据资产化的浪潮下,企业也希望数据具有更强的流通能力,从而真正发挥资产价值。在一系列AI技术带来的衍生场景中,企业都需要更强的存储能力来筑牢数据资产,实现数据资产的可流通属性。

再次,是中小企业数字化进程中的数据成本问题。

在AI技术的发展进程中,我们希望智能化的价值是普惠多元的。但客观来看,中小企业想要获得同等的AI竞争力,需要付出更大的数字化基础设施建设成本。如何实现中小企业的存储升级普惠,尤其是完成全闪存的更迭,也是存储行业面临的挑战。

最后,是数据安全风险加剧的问题。

在数据资产价值不断升级,且AI大模型需要高频次调动数据的新阶段,企业面临着以勒索病毒为代表的更深刻、更具体的数据安全问题。数据保护需要从被动保护向主动安全跃迁。

从以上种种不难看出,在智能化体系中,数据存在居于底座地位,并且牵一发动全身。适配AI时代的存储,不仅是单一存储技术的升级,更是对经济智能化所产生综合存储升级的回应。

存强则AI强,存强则数据强,已经成为AI时代真实而深刻的风向。

智能大势,筑基为先

在这样的智能化大势下,存储产业应该如何回应?如何抓住重点,破局谋篇?

华为存储的选择,是首先为AI大模型建立起存力底座,让AI技术所涉及的各类非结构化数据都能统一入湖。有了基础底座,向上的一切架构延展、功能添加才不会变成空中楼阁。

面对智能化的大势所趋,华为存储选择先筑牢基础。在不久之前的MWC 2024期间,华为存储发布了AI数据湖、全场景数据保护和DCS全栈数据中心三大解决方案。AI数据湖,就是构建华为存储为AI时代构建的存力底座。

具体而言,华为AI数据湖解决方案,具备数据管理DME、一站式知识生成工具链eDataMate、数据编织Data Fabric,以及OceanStor A800/A310等全新AI存储底座。其中新一代高性能NAS存储OceanStor A800,可以通过数控分离架构、OceanFS高性能并行文件系统、双向灵活扩展等能力,支撑大规模AI训练集群的实时调度,成为AI大模型的存力底座。

AI数据湖对AI时代能够起到哪些层面的加持与支撑?我们可以分三个层面来分析。

首先,AI训练必须使用大量非结构化数据,尤其是图形类数据。AI数据湖具有强大的数据收集能力,可以确保所有数据种类都能入湖,从而使能AI训练场景下,数据的全局可视、可管、可用,让训练数据归集、预处理和训练的效率倍增,进而全面提升大模型训练效率,缩短训练时间。

其次,AI数据湖具有数据清洗能力,从而可以通过先清洗再进行训练,缩短AI训练的等待时间。数据清洗能力的加入,让存储能力与AI训练场景的适配度进一步提升。

此外,OceanStor A800/A310等全新AI存储产品,具备TB级的带宽,能够实现极强的数据加载能力,可以全面提升数据的加载速度,从而兼容到分钟级别的数据加载。通过数据加载能力的升级,AI训练可以更加高效准确,让宝贵的AI算力得到更高的使用效率。

整体而言,面向突然爆火的AI大模型,华为存储基于长时间对AI存储的理解与布局,用最快速度给出了回应。AI数据湖就是这种回应的集中表现,其通过软硬件结合搭建起了完整的AI存储体系。这一体系架构具备强大的AI训推效率,以及优秀的可扩展性,能够满足未来几年的持续演进,与AI大模型技术发展并轨发展。

筑牢基础,是破局一个新趋势、新需求的关键。AI数据湖,就是华为存储为AI时代筑下的基础。

它会成为一把钥匙,一个枢纽,容纳华为存储的多元发展思路,进而打开企业存储升级的多种可能性。

三流合一,存以致用

面向AI时代,存储产业的需求是非常多元复杂的。其中容纳了AI大模型的训练推理需求,也有中小企业的普惠发展需求,以及贯穿全行业的存储安全需求等。因此,华为存储也执行了面向多元需求的发展策略。

我们可以将这种策略归纳为存力升级的“三流合一”

第一条支流,AI ready。

我们前文所重点讨论的AI存储能力,已经成为华为存储的核心差异化竞争力。可以说,通过具有前瞻性的布局与产品打造,华为存储在行业内率先实现了AI ready。未来,面向AI场景的存储能力将愈发重要。AI相关布局也会持续融合为华为存储的差异化竞争力。

第二条支流,全场景数据安全。

在AI技术爆发式发展,数据价值不断提升的今天,也要看到安全隐忧也被同步放大。从近两年的情况看,勒索病毒持续泛滥,并且已经真实危害到了金融、电力等涉及国计民生的核心产业。面向存储的高安全需求,华为首创了存储与网络协同的多层联动勒索攻击防护(MRP)解决方案。通过2道防线,6层防护来构建全场景的数据安全能力。这一能力已经美国权威机构Tolly认证,可以100%实现防勒索病毒有效。随着安全能力在数字化体系中的价值占比不断提升,存储原生安全将成为新的行业战略高点。

第三条支流,全场景闪存普惠。

伴随着各行业对数据存储综合能力需求的提升,越来越多中小企业希望进行全闪存升级。面对这一需求,华为在业界率先提出了闪存普惠理念,并且在目前阶段,发布了含OceanStor Dorado 2100、OceanProtect X3000等全闪存系列产品,可以为企业带来性能十倍,更好能耗比,且综合成本没有显著变化的全闪存产品,助力中小企业的数字化升级。

为应对AI时代带来的一系列变化,满足AI训推、闪存普惠、全场景安全等核心需求,华为打造了综合性的全场景数据存储产品与解决方案。其中富含的战略目标,用华为自己的总结可以归纳为——以存强算,以存强训,以存强安

在华为存储“三流合一”的发展节奏背后,核心是应对时代变化、需求变化的“存以致用”。只有给出准确的技术升级与产品打造,才能让不同需求、不同行业、不同发展阶段的企业,都能够用存储强健自身的智能化选择。

企业有了更有用,更好用的存储能力,AI时代才能够从旷野变成航道。

拓路旷野,设立航标

AI ready、全闪存普惠,以及全场景安全等能力的构建,不仅强化了华为存储自身的市场价值,更对整个存储产业起到了积极的影响。

在今天的存储产业眼中,AI时代还是一片朦胧的旷野。业界对于AI需要适配的存储产品具有宏观上的共识,但缺乏具体的可执行方案。

从眺望旷野到抵达目标,行业需要一条路。需要先进的产品作为发展导向,需要强大的技术能力作为发展标准,需要丰富的客户实践作为发展依据。这种情况下,华为存储做的事情其实就是拓路,通过在全新的AI旷野踏出一条路,华为为全球存储产业设立了航标。

面向AI时代的航标,具有两重价值。首先从横向的客户价值层面看,华为存储的AI ready让全球客户有了面向AI时代的数据底座选择,同时也有了全力智能化发展的底气与信心。

一家新加坡的TOP级银行,基于华为存储提供的相关能力构建了金融智能化能力。东南亚的TOP级电商,在华为存储的帮助下搭建了千卡级别的AI数据湖底座。在中国市场,科大讯飞与华为存储合作,用AI数据湖搭配400G网络,大幅提升了星火大模型的训练效率。

丰富的客户实践表明,华为存储在AI时代展现出了更强的竞争力,不仅其性能好、可靠性高的产品优势得到进一步释放,更以对AI场景的理解获得了新的机会。

在全球市场上,华为存储已经是当之无愧的第一梯队。根据3月4日Gartner发布的《2024年Gartner Peer Insights主存储客户之声》报告,华为存储在全球厂商中脱颖而出,独家获得了全球“客户之选”。

本次评选共有业界主流的21家厂商参与,华为OceanStor存储收到来自亚太、欧洲、中东等区域的数百个客户评价,覆盖运营商、金融、教育、医疗、能源、制造等行业。客户一致认为华为存储最符合自身期待,提供了全球最佳的使用体验。这一幕对于中国存储产业来说可谓是前所未有。

而从行业纵向发展的角度看,华为存储率先打造了符合AI时代需求的技术架构与产品体系,让行业有了向前发展的航标。

比如说,可以看到华为在业界率先提出了AI数据湖概念,已经起到了引领市场的作用。全球各大厂商都在加强对AI存储的研发投入,从而带来整个AI时代的进一步增长,实现存算之间更加平衡的适配。

总结来看,通过洞察AI时代的存力需求,打造AI存储基础设施,推进“三流合一”的发展策略,华为存储一步步实现了面向AI旷野的拓路。

在其努力下,存力不再是滞后与缓慢发展的一环,AI时代的基础设施巨变有了齐头发展的可行性。

AI时代,存强则强。换言之,我们可以以存力强AI,以存力强时代。

免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与 无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。


企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-03-21
AI时代,存强则强
AI时代,存强则强

长按扫码 阅读全文

Baidu
map