NetRoller：面向端到端自动驾驶的通用模型与专用模型接口技术
机器人学
2025-09-03 v2
摘要
将通用模型（GMs）如大型语言模型（LLM）与专用模型（SMs）集成到自动驾驶任务中是一个缓解现有专用驾驶模型数据多样性和模型容量挑战的有前景的做法。然而，这种集成会导致异步系统问题，源于 GMs 和 SMs 固有的差异特征。为解决此挑战，我们提出 NetRoller，这是一种集成新型机制以促进 GMs 和专用驾驶模型无缝集成的适配器。具体而言，我们的机制分为三个关键阶段以实现 GMs 和 SMs 的异步接口。NetRoller 首先通过早停机制从 LLM 推理过程中获取语义丰富且计算高效的表示，既保留驾驶情境的关键洞察，又保持低开销。随后应用可学习查询嵌入、无意义嵌入和位置层嵌入，以实现稳健且高效的跨模态翻译。在最后，使用计算高效的查询位移（Query Shift）和特征位移（Feature Shift）机制，通过少量迭代微调来提升 SMs 的性能。基于这三阶段形式化的机制，NetRoller 使专用驾驶模型能够在保持驾驶情境意识的同时以其本机频率运行。在 nuScenes 数据集上进行的实验表明，通过 NetRoller 集成的 GM 在规划任务中显著提高了人类相似性和安全性，在端到端自动驾驶的检测和地图任务中也实现了显著的精度提升。代码和模型已在 https://github.com/Rex-sys-hk/NetRoller 提供。
引用
@article{arxiv.2506.14589,
title = {NetRoller: Interfacing General and Specialized Models for End-to-End Autonomous Driving},
author = {Ren Xin and Hongji Liu and Xiaodong Mei and Wenru Liu and Maosheng Ye and Zhili Chen and Jun Ma},
journal= {arXiv preprint arXiv:2506.14589},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication