RoboTron-Sim：通过模拟硬案提升现实世界驾驶
机器人学
2025-08-07 v1 计算机视觉与模式识别
摘要
收集稀有高风险场景、长尾驾驶事件及复杂交互的真实数据仍具挑战性，导致现有自动驾驶系统在这些关键情况下的表现不佳。为此，本文提出 RoboTron-Sim，通过利用模拟硬案提升现实世界驾驶中的关键情况。首先，我们开发了名为 Hard-case Augmented Synthetic Scenarios（HASS）的模拟数据集，覆盖 13 类高风险边缘场景类别，以及平衡的环境条件，如白天/夜晚、晴天/雨天。其次，我们引入情景感知提示工程（Scenario-aware Prompt Engineering, SPE）和图像到自我编码器（Image-to-Ego Encoder, I2E Encoder），使多模态大语言模型能够有效地从 HASS 学习真实世界的挑战性驾驶技能，适应真实场景与模拟场景之间的环境偏差及硬件差异。在 nuScenes 上进行的大量实验表明，RoboTron-Sim 在挑战性场景中的驾驶性能提升约 50%，在真实世界开放式规划中实现最先进的结果。定性结果进一步证明了 RoboTron-Sim 在更好地管理稀有高风险驾驶场景方面的有效性。项目页面：https://stars79689.github.io/RoboTron-Sim/
引用
@article{arxiv.2508.04642,
title = {RoboTron-Sim: Improving Real-World Driving via Simulated Hard-Case},
author = {Baihui Xiao and Chengjian Feng and Zhijian Huang and Feng yan and Yujie Zhong and Lin Ma},
journal= {arXiv preprint arXiv:2508.04642},
year = {2025}
}
备注
ICCV 2025