随着各大汽车厂商相继大力投入自动驾驶业务,动辄数十PB的数据注入存储和每天数PB的数据IO参与计算已经成为自动驾驶开发的常态。如何降低自动驾驶开发过程中的海量数据存储成本和高性能、高可靠、高扩展性需求是腾讯自动驾驶专有云团队的当务之急。
“自动驾驶开发行业当前的核心需求是合规存储,核心痛点是成本高。” 项目组对当前自动驾驶开发行业的痛点了解颇深:“行业周知自动驾驶研发成本高,周期长。虽然很多车企都在大力投入软件开发,但是面临长期投入和快速回报的问题,减少预算压力、降低开发成本是非常必要的。然后是合规,以及如何安全的存储。数据和算法是自动驾驶开发者的核心机密,不能有任何闪失。”
自动驾驶研发所需要的高精度地图各种场景数据,需要通过采集,标注,分析,合规等一系列流程,在云端存储和调用,需要高性能高密度服务器和配套设施,储存成本每年往往高达上亿元。而自动驾驶的快速进展,也需要与之相应的服务器不断扩容,每天有数十甚至数百TB的新增数据注入,经过智能化提取和标注,产生结构化、非结构化等各种存储类型需求,共同形成了数据湖,来满足自动驾驶算法训练、仿真、评测等迭代过程,带来的是成本增幅的线性成倍增长。
为此,腾讯汽车云团队和腾讯大数据团队合作建立了专项攻坚项目组,针对自动驾驶开发数据采集、存储和开发场景下的需求特点开始了选型和攻坚。历时将近一年的打磨,项目团队选用Ozone+腾讯云星星海自研服务器和自研JBOD的软硬件一体化解决方案,将存储方案整体集群读写带宽提升50%,存储硬件成本降低60%以上,达到业内领先水平,让车企的高精度地图的存储成本可以大幅度消减。
Ozone作为对象存储和大数据存储的主要解决方案,特别适合自动驾驶开发场景下百亿级海量小文件的存储需求,解决融合存储需求的同时极大的存储成本。作为脱胎于Hadoop的开源存储项目,Ozone的目标是打造大数据场景下融合文件系统和对象存储的统一方案,生态上支持Hadoop FS,对象/S3,本地路径Mount和K8s CSI等多种访问方式,针对大数据场景下的小文件和集群scale up做了很多优化。同时,Ozone分布式架构和利用Raft协议维护的一致性保证了Ozone存储集群在和计算节点分离部署时更强的集群管理能力,可以说,在大数据生态中,Ozone对于Hadoop Capitible和对象的整合能力决定了其存算分离部署场景下的排头兵位置。
在硬件方面,针对计算存储分离部署场景下,大数据产生的海量数据存储容量和成本问题,项目组团队在腾讯云自研星星海硬件机型中走出一种全新的尝试。腾讯星星海实验室是腾讯首个硬件工程实验室,主要专注于服务器等硬件系统架构设计和前瞻性基础技术研究,已经在计算、存储、网络等领域研发了领先的技术和产品。针对汽车云海量存储的性能和成本诉求,自研星星海服务器进一步优化单个数据节点的存储上限,从而极大的减小了集群规模,降低了储存成本。
针对客户单个集群数十PB的存储需求,项目组使用自研星星海+自研JBOD的硬件集群配置,追求在集群化管理成本最小的代价下,可以容纳更多的用户数据,最大化提升集群利用率。利用Ozone + 自研星星海服务器的组合,可以为自动驾驶开发者提供超低成本的专有云解决方案。
腾迅汽车云Ozone + 自研星星海服务器解决方案核心技术优势:
1、元数据管理成本和消耗低。数据以三副本的方式写入,总体元数据消耗在0.5%以下。单个Ozone元数据Master节点可以管理上千个数据节点,同时支持元数据进程和数据进程部署在同一节点上。Ozone的部署方式可以最大化利用每一个星星海机器的存储能力,每一个星星海+JBOD的机器都可以当做数据节点。
2、MultiRaft特性和特有的均衡算法,保证数据强一致性和关键性能指标。
3、结合自动驾驶开发的业务特点,Ozone提供了大数据存储、对象存储和文件系统等多种访问语义,真正意义上做到了融合存储的方案,汽车云从大数据Spark场景到仿真数据通过Windows Samba和Linux上NFS等模式都统一写入同一个Ozone集群。这样的访问模式配合星星海的硬件存储能力,在存储计算分离部署下,给予了用户全新的资源整合的方式,同时极大的保证了数据强一致性和高冗余度。
技术追求无止境,每一个技术点项目团队都力求极致,最求低成本高性能就要利用Ozone的MultiRaft特性发挥JBOD每块磁盘的作用,将单节点的IO性能和带宽稳定在满足业务需求的水平。网络抖动和心跳丢失、IO不均衡、单盘阻塞等问题时不时骚扰几个核心开发人员,在经历了无数次尝试后,开发小哥半夜突发奇招,调整硬件调度策略,配合相关调优措施,一举突破障碍,极大提升了关键目标核心性能,为自动驾驶开发低成本解决方案立了一大功!
通过调整星星海服务的IO调度模型和结合了Ozone的软件方案,最终将集群整体读写带宽提升了超过50%:
(图示为不同调度策略的IO对比,灰色图形为最终选择的IO模型)
腾讯自动驾驶专有云低成本解决方案提供自动驾驶数据存储、计算、标注、模拟仿真、镜像仓库、应用发布等一揽子服务。低成本、合规是核心;可靠、安全、稳定、合规是基础能力。在自动驾驶研发和量产的道路上,腾讯自动驾驶专有云方案,助力车企突破成本和效率的障碍,加速技术的研发进程。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
