RLGF：面向自动驾驶视频生成的几何反馈强化学习
计算机视觉与模式识别
2025-10-27 v2
摘要
合成数据对于推进自动驾驶（AD）系统至关重要，然而当前最先进的视频生成模型尽管具有视觉逼真度，却存在细微的几何失真，这限制了它们在下游感知任务中的实用性。我们识别并量化了这一关键问题，证明了使用合成数据与真实数据进行3D目标检测时存在显著的性能差距。为了解决这个问题，我们引入了几何反馈强化学习（RLGF），RLGF通过引入来自专用潜在空间AD感知模型的奖励，独特地优化了视频扩散模型。其核心组件包括一个高效的潜在空间窗口优化技术，用于在扩散过程中提供有针对性的反馈，以及一个分层几何奖励（HGR）系统，为点-线-面对齐和场景占用一致性提供多级奖励。为了量化这些失真，我们提出了GeoScores。将RLGF应用于nuScenes数据集上的DiVE等模型，显著减少了几何误差（例如，消失点误差降低21%，深度误差降低57%），并将3D目标检测的mAP大幅提升了12.7%，缩小了与真实数据性能的差距。RLGF为生成几何上可靠且稳健的合成视频提供了一个即插即用的解决方案，以用于自动驾驶开发。
引用
@article{arxiv.2509.16500,
title = {RLGF: Reinforcement Learning with Geometric Feedback for Autonomous Driving Video Generation},
author = {Tianyi Yan and Wencheng Han and Xia Zhou and Xueyang Zhang and Kun Zhan and Cheng-zhong Xu and Jianbing Shen},
journal= {arXiv preprint arXiv:2509.16500},
year = {2025}
}
备注
NeurIPS 2025