2023年9 月 29 日，由阿里云、NVIDIA 联合主办，阿里云天池平台承办的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型优化赛” 圆满落幕。该赛事自2020年以来，已成功举办三届，本届赛事于今年 7 月启动，吸引了来自全国 729 支开发者团队报名参赛，其中共有 40 支团队晋级复赛，最终 26 支团队于决赛中脱颖而出，分获冠军/亚军/季军及优胜奖，展现出了卓越的技术实力。
解锁 TensorRT-LLM 挖掘生成式 AI 新需求
今年的NVIDIA TensorRT Hackathon着重提升选手开发 TensorRT 应用的能力。
在过去的一年里，生成式 AI 迎来了爆发式增长。计算机能够批量生成大量图像和文本，有的甚至能够媲美专业创作者的作品。这为未来生成式 AI 模型的发展铺平了道路，令人充满期待。正因如此，NVIDIA TensorRT Hackathon 2023 选择生成式 AI 模型作为比赛的主题，以激发选手的创新潜力。
今年的比赛设置了初赛和复赛两组赛题——初赛阶段，选手需要利用 TensorRT 加速带有 ControlNet 的 Stable Diffusion pipeline，以优化后的运行时间和出图质量作为主要排名依据；复赛为开放赛题，选手可自由选择公开的 Transformer 模型，并利用 TensorRT 或 NVIDIA TensorRT-LLM 进行模型推理优化。
NVIDIA TensorRT™ 作为 GPU 上的 AI 推理加速库，一直以来都备受业界认可与青睐。本次比赛的背后是 NVIDIA TensorRT 开发团队对产品不断进行改进和优化的结果。通过让更多模型能够顺利通过 ONNX 自动解析得到加速，并对常见模型结构进行 优化，极大地提高了 TensorRT 的可用性和性能。这意味着大部分模型无需经过繁琐的手工优化，就能够在 TensorRT 上有出色的性能表现。
TensorRT-LLM 是 NVIDIA 即将推出用于大语言模型推理的工具，目前已于官网开放试用。作为此次复赛推荐使用的开发工具之一，TensorRT-LLM 包含 TensorRT 学习编译器，并且带有经过优化的 CUDA kernel、前处理和后处理步骤，以及多 GPU/多节点通信，可以在 NVIDIA GPU 上提供出类拔萃的性能。它通过一个开源的模块化 Python 应用 API 提高易用性和可扩展性，使开发人员能够尝试新的 LLM，提供最顶尖的性能和快速自定义功能，且不需要开发人员具备深厚的 C++ 或 CUDA 知识。
作为本次大赛的主办方之一，阿里云天池平台为参赛选手提供了卓越的云上技术支持，在阿里云GPU云服务器中内置 NVIDIA A10 Tensor Core GPU，参赛者通过云上实例进行开发和训练优化模型，体验云开发时代的AI工程化魅力。同时，由NVIDIA 30 名工程师组成导师团队，为晋级复赛的 40 支队伍提供一对一辅导陪赛，助力选手获得佳绩。
从实践到迭代 脑力与创造力的集中比拼
本次比赛中涌现出大量优秀的开发者。在获奖的 26 支团队中，有不少团队选择借助 TensorRT-LLM 对通义千问-7B 进行模型推理优化。
通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的 70 亿参数规模的模型，基于 Transformer 的大语言模型，在超大规模的预训练数据上进行训练得到。在 Qwen-7B 的基础上，还使用对齐机制打造了基于大语言模型的 AI 助手 Qwen-7B-Chat。
获得此次比赛一等奖的 “无声优化者（着）” 团队，选择使用 TensorRT-LLM 完成对 Qwen-7B-Chat 实现推理加速。在开发过程中，克服了 Hugging Face 转 Tensor-LLM、首次运行报显存分配错误、模型 logits 无法对齐等挑战与困难，最终在优化效果上，吞吐量最高提升了 4.57 倍，生成速度最高提升了 5.56 倍。
而获得此次赛事二等奖的 “NaN-emm” 团队，在复赛阶段，则选择使用 TensorRT-LLM 实现 RPTQ 量化。RPTQ 是一种新颖的基于重排序的量化方法，同时量化了权重与中间结果（W8A8），加速了计算。从最开始不熟悉任何 LLM 模型，到后续逐步学习和了解相关技术，“NaN-emm” 团队启用了GEMM plugin，GPT Attention plugin，完成了 VIT、Q-Former、Vicuna-7B 模型的转化，最终通过 40 个测试数据，基于 Torch 框架推理耗时 145 秒，而经过 TensorRT-LLM 优化的推理引擎耗时为 115 秒。
本次大赛还涌现了一批优秀的开发者，本届参赛选手邓顺子不仅率领队伍获得了一等奖，还收获了本次比赛唯一的特别贡献奖。他表示，2022 年的 Hackathon 比赛是他首次接触 TensorRT，这使他对模型推理加速产生了浓厚的兴趣。尽管当时未能进入复赛，但那次经历让他深感自身技能的不足。在上一次比赛中，他目睹了顶尖选手使用 FasterTransformer 在比赛中取得领先地位，这一经历让他对 AI 技术有了更深入的理解和追求。随后，他积极做 TensorRT 上的模型开发，特别是对 ChatGLM/Bloom 等新兴模型进行了优化，感受到了 TensorRT 的强大。
今年，他再次参加了 TensorRT Hackathon 2023，利用 TensorRT-LLM 成功优化了 QWen 大模型，实现了自己的梦想。他感谢主办方给予的机会，团队的支持，以及所有参赛者的努力，他期待未来能与大家一起为 AI 技术的发展创造更多奇迹。
人工智能应用场景创新日新月异，AI 模型的开发与部署也需要注入新的动能。在此次赛事中，选手们基于 TensorRT 挖掘出更多的潜能和功能需求。未来，阿里云和NVIDIA 还将持续为开发者和技术爱好者提供展示技能和创意的平台，天池平台将与更多优秀的开发者一同推进 TensorRT 的发展，让 AI 在 GPU 上更容易、更高效地部署。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- 荣格PCT 广州站11月27-28日广州盛大开幕，5000+个护行业代表共襄盛举！
- 鸿蒙生态崛起，开发者如何抓住这波“红利”？
- 2024长沙·中国1024程序员节圆满落幕，共探智能应用新生态
- 顺丰智慧安检平台亮相万国邮联世界领导人论坛，以AI增强客户信任
- 2025上海国际嵌入式展
- 完整日程发布！首届GDTC全球数据技术大会开幕将于10月29日盛大开幕
- 国家能源集团携手海康威视研发攻克融合光谱煤质快检技术
- 聚焦汽车智能化与电动化︱AUTO TECH 2025 华南展11月，以展带会，已全面启动，邀您共精彩！
- 华为擎云亮相2024安博会 以创新科技驱动安防行业高质量发展
- 2024年第二十五届中国国际建筑智能化峰会
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
