ETA：通过提前思考实现效率，大模型自驾的双系统方法
摘要
如何在不牺牲推理速度的情况下从大模型中获益，这是自驾系统中常见的困境？一种普遍做法是采用双系统architecture，运用小模型进行快速、反应式决策，同时使用更大模型进行较慢但更具信息性的分析。现有的双系统设计往往实现parallel architecture，推理要么在每个当前帧上直接使用大模型，要么检索之前存储的推理结果。然而，这些方法仍难以为每个online frame及时响应大模型。我们的关键洞察是将当前帧的密集计算转移到之前的时间步骤，并对多个时间步骤进行batch inference，以便large models及时响应每个时间步骤。为实现this转移，我们引入Efficiency through Thinking Ahead(ETA)，一个asynchronous system，旨在：(1)使用large model的future predictions从past传播informative features到current frame，(2)使用small model提取current frame features以实现real-time responsiveness，(3)通过action mask mechanism将这些dual features集成，并强调action-critical image regions。我们在Bench2Drive CARLA Leaderboard-v2 benchmark上评估了ETA，ETA将state-of-the-art性能提升了8%，驾驶score达到69.53，同时保持接近real-time的推理速度，50ms。
引用
@article{arxiv.2506.07725,
title = {ETA: Efficiency through Thinking Ahead, A Dual Approach to Self-Driving with Large Models},
author = {Shadi Hamdan and Chonghao Sima and Zetong Yang and Hongyang Li and Fatma Güney},
journal= {arXiv preprint arXiv:2506.07725},
year = {2025}
}
备注
ICCV 2025 submission. For code, see https://github.com/opendrivelab/ETA