Occ-LLM：基于占据率的大语言模型提升自动驾驶
机器人学
2025-02-11 v1
摘要
大语言模型(LLM)在机器人和自动驾驶领域取得了显著进展。本研究提出了首个基于占据率的大语言模型(Occ-LLM)，这是一项将LLM与重要表示集成的开创性工作。为有效地将占据率作为LLM的输入并解决占据率关联的类别不平衡问题，我们提出了动作分离变分自编码器(MS-VAE)。这种创新方法利用先验知识在将动态对象与静态场景区分开后，再输入到定制化的变分自编码器(VAE)中。这种分离增强了模型专注于动态轨迹的能力，同时有效地重构静态场景。Occ-LLM的有效性已通过关键任务进行验证，包括4D占据率预测、自 ego 规划和占据率-based 场景问答。全面评估表明，Occ-LLM显著优于现有领先方法，实现了约6%的交叉点IoU和4%的平均IoU提升，用于4D占据率预测任务。这些发现凸显了Occ-LLM在机器人和自动驾驶领域重塑当前范式的变革潜力。
引用
@article{arxiv.2502.06419,
title = {Occ-LLM: Enhancing Autonomous Driving with Occupancy-Based Large Language Models},
author = {Tianshuo Xu and Hao Lu and Xu Yan and Yingjie Cai and Bingbing Liu and Yingcong Chen},
journal= {arXiv preprint arXiv:2502.06419},
year = {2025}
}
备注
Accepted in 2025 IEEE International Conference on Robotics and Automation (ICRA)