转移你的视角：驾驶场景中任意视角的可控 3D 生成
计算机视觉与模式识别
2025-04-03 v2
摘要
仅依赖自身中心感知的自驾车在感知能力上存在局限，往往无法检测被遮挡或遥远的目标。协作自动驾驶 (CAV) 似乎是一个有前景的方向，但数据收集并非易事。需要同时在真实驾驶场景中放置多个装有传感器的智能体，因此现有数据集在位置和智能体数量上受限。我们提出一种新型替代方案，即在给定真实样本（即 ego-car 的感知数据）的条件下，生成驾驶场景中来自不同视角的真实感知。这种替代方案具有巨大的潜力：它可能使任何 ego-car 数据集都能转化为协作驾驶数据，从而规模化开发 CAV。我们提出了第一个解决方案，结合仿真协作数据和真实 ego-car 数据。我们的方法称为 Transfer Your Perspective (TYP)，学习一个条件扩散模型，其输出样本不仅真实，而且在语义和布局方面与给定的 ego-car 数据一致。实验结果表明 TYP 在 CAV 场景中有效。特别是，TYP 使我们能够（预）训练类似早期和晚期融合的协作感知算法，无论或几乎没有真实的协作数据，大大促进了下游 CAV 应用。
引用
@article{arxiv.2502.06682,
title = {Transfer Your Perspective: Controllable 3D Generation from Any Viewpoint in a Driving Scene},
author = {Tai-Yu Pan and Sooyoung Jeon and Mengdi Fan and Jinsu Yoo and Zhenyang Feng and Mark Campbell and Kilian Q. Weinberger and Bharath Hariharan and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2502.06682},
year = {2025}
}
备注
Accepted to CVPR 2025