RoCo-Sim：通过前景模拟增强路边协作感知
计算机视觉与模式识别
2025-08-01 v3
摘要
路边协作感知指的是一个系统，其中多个路边单元协作汇聚其感知数据，以帮助车辆增强其环境意识。现有的路边感知方法集中于模型设计，但忽视了校准误差、稀疏信息和多视角一致性等数据问题，导致在最近的公开数据集上表现不佳。为显著增强路边协作感知并解决关键数据问题，我们提出了第一个用于路边协作感知的仿真框架 RoCo-Sim。RoCo-Sim 能够通过动态前景编辑和单张图像的全场景风格迁移生成多样化、多视角一致的路边仿真数据。RoCo-Sim 包含四个组件：（1）相机外参优化确保路边摄像机的准确 3D 到 2D 投影；（2）一种新颖的多视角遮挡感知抽样器（MOAS）确定数字资产在 3D 空间中的放置；（3）DepthSAM 创新性地从单帧固定视角图像中建模前景-背景关系，确保前景的多视角一致性；（4）可扩展的后处理工具包通过风格迁移和其他增强生成更真实、更丰富的场景。RoCo-Sim 在路边 3D 目标检测方面显著提升，分别在 Rcooper-Intersection 和 TUMTraf-V2X 上将 AP70 提升至 83.74 和 83.12。RoCo-Sim 填补了路边感知仿真的关键性空白。代码和预训练模型即将发布：https://github.com/duyuwen-duen/RoCo-Sim
引用
@article{arxiv.2503.10410,
title = {RoCo-Sim: Enhancing Roadside Collaborative Perception through Foreground Simulation},
author = {Yuwen Du and Anning Hu and Zichen Chao and Yifan Lu and Junhao Ge and Genjia Liu and Weitao Wu and Lanjun Wang and Siheng Chen},
journal= {arXiv preprint arXiv:2503.10410},
year = {2025}
}