HAOMO发布自动驾驶生成式大模型DriveGPT

4月11日消息，在HAOMO AI DAY上，HAOMO发布业内首个自动驾驶生成式大模型DriveGPT，中文名“雪湖•海若”，毫末智行CEO顾维灏表示，DriveGPT将重塑汽车智能化技术路线。据介绍，DriveGPT雪湖•海若首发车型是新摩卡DHT-PHEV，即将量产上市。

毫末智行董事长张凯表示：“2023年智驾产品进入全线爆发期，大模型开启在车端的落地应用，车主的使用频率和满意度成为产品竞争力的重要衡量标准。”

顾维灏介绍，DriveGPT通过引入驾驶数据建立RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化，现阶段主要用于解决自动驾驶的认知决策问题，终极目标是实现端到端自动驾驶。

目前，毫末DriveGPT雪湖•海若实现了模型架构与参数规模的升级，参数规模达到1200亿，预训练阶段引入4000万公里量产车驾驶数据，RLHF阶段引入 5万段人工精选的困难场景接管Clips。

DriveGPT雪湖•海若的底层模型采用GPT（Generative Pre-trained Transformer）生成式预训练大模型，与ChatGPT使用自然语言进行输入与输出不同，DriveGPT输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景Token化，形成“Drive Language”，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。

顾维灏进一步阐释，DriveGPT雪湖•海若具有三个能力：

1. DriveGPT雪湖•海若可以按概率生成很多个场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况；

2.在所有场景序列都产生的情况下，DriveGPT雪湖•海若能把场景中最受关注的自车行为轨迹量化出来，也就是生成场景的同时，会产生自车未来的轨迹信息；

3. 有了自车未来的轨迹信息之后，希望这条轨迹是可解释的，而GPT模型最擅长的领域便是对话和推理，DriveGPT雪湖•海若也很好地继承了这种特性，在生成场景序列、轨迹的同时，也会把整个决策逻辑链给输出。

顾维灏介绍，毫末在2023年1月发布的中国自动驾驶行业最大的智算中心MANA OASIS（雪湖• 绿洲）此次从算力优化等层面升级了三大能力，进一步支持DriveGPT雪湖•海若的算力。

首先，毫末与火山引擎全新搭建了“全套大模型训练保障框架”，实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性；

其次，毫末研发出以真实数据回传为核心的增量学习技术，并将其推广到了大模型训练，构建了一个大模型持续学习系统，自主研发任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%；

最后，MANA OASIS通过提升数据吞吐量来降本增效，满足Transformer大模型训练效率，通过引入火山引擎提供的Lego算子库实现算子融合，端到端吞吐提升84%。

谈到DriveGPT雪湖•海若的实现过程，顾维灏介绍称，首先在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管Clips数据完成反馈模型（Reward Model）的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。

DriveGPT雪湖•海若的一个关键设计，就是场景的Token化表达，顾维灏把这种方式叫做Drive Language。

同时，DriveGPT雪湖•海若还会根据Drive Language输入端的提示语以及毫末CSS自动驾驶场景库的决策样本去训练模型，让模型学习推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。

另外，顾维灏提到，DriveGPT雪湖•海若可以逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。有了DriveGPT雪湖•海若的加持，车辆行驶会更安全；动作更人性、更丝滑，并有合理的逻辑告诉驾驶者，车辆为何选择这样的决策动作。对于普通用户来说，车辆越来越像老司机，用户对智能产品的信任感会更强，理解到车辆的行为都是可预期、可理解的。

当前，毫末在使用数据过程中，逐步建立起一套基于4D Clips驾驶场景识别方案，具备极高性价比。在行业上，给出正确的标注结果，一张图片需要约5元；如果使用DriveGPT雪湖•海若的场景识别服务，一张图片的价格将下降到0.5元。单帧图片整体标注成本仅相当于行业的1/10。接下来，毫末会将图像帧及4D Clips场景识别服务逐步向行业开放使用，这将大幅降低行业使用数据的成本，提高数据质量，从而加速自动驾驶技术的快速发展。

目前，毫末DriveGPT雪湖•海若已正式对外开放，开启对限量首批客户的合作，北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等已经加入。毫末DriveGPT雪湖•海若大模型的成果将首发落地在搭载毫末HPilot3.0的新摩卡DHT-PHEV上。

顾维灏表示，毫末DriveGPT雪湖•海若将携手生态伙伴率先探索四大应用能力，包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。