Nav-EE：面向自动驾驶的高效视觉语言模型导航引导早退出框架
机器人学
2025-10-13 v2 人工智能
摘要
视觉语言模型（VLM）日益应用于自动驾驶领域，以实现统一的感知与推理，但高推理延迟阻碍了实时部署。早退出方法通过在中间层终止推理来降低延迟，但其任务依赖性强，限制了在多样化场景下的泛化能力。我们观察到，这一限制与自动驾驶领域相吻合：导航系统能够预见 upcoming 上下文（如交叉口、红绿灯），从而指示哪些任务将被需要。我们提出 Nav-EE，一种导航引导的早退出框架，该框架在离线预计算任务特定的退出层，在在线动态应用它们。实验在 CODA、Waymo 和 BOSCH 数据集上表明，Nav-EE 在保持与完全推理相当的准确率的同时，将延迟降低最高可达 63.9%。实际车辆集成 Autoware Universe 进一步显示，推理延迟从 600ms 降至 300ms，支持复杂场景下的更快决策。这些结果表明， 将导航前瞻与早退出相结合，为在自动驾驶系统中部署大规模模型提供了可行路径。代码和数据可在我们的匿名仓库 https://anonymous.4open.science/r/Nav-EE-BBC4 中获取。
引用
@article{arxiv.2510.01795,
title = {Nav-EE: Navigation-Guided Early Exiting for Efficient Vision-Language Models in Autonomous Driving},
author = {Haibo Hu and Lianming Huang and Xinyu Wang and Yufei Cui and Shangyu Wu and Nan Guan and Chun Jason Xue},
journal= {arXiv preprint arXiv:2510.01795},
year = {2025}
}