ReSimAD:基于源重建与目标仿真的自动驾驶零样本三维域迁移
计算机视觉与模式识别
2024-01-26 v4
摘要
传感器类型变更和地理情境变化等域偏移在自动驾驶(AD)中十分普遍,这带来了一项挑战:依赖于先前域知识的 AD 模型在不付出额外成本的情况下难以直接部署到新域。本文通过提出一种重建-仿真-感知(ReSimAD)方案,提供了缓解域偏移的新视角与新方法。具体而言,隐式重建过程基于来自先前旧域的知识,旨在将域相关知识转换为域不变表示,例如三维场景级网格。此外,多个新域的点云仿真过程以上述重建的三维网格为条件,由此可获得类目标域的仿真样本,从而降低后续感知过程收集和标注新域数据的成本。在实验中,我们考虑了 Waymo-to-KITTI、Waymo-to-nuScenes、Waymo-to-ONCE 等不同跨域情形,以验证使用 ReSimAD 的零样本目标域感知。结果表明,我们的方法有助于提升域泛化能力,甚至对三维预训练也有益处。
引用
@article{arxiv.2309.05527,
title = {ReSimAD: Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation},
author = {Bo Zhang and Xinyu Cai and Jiakang Yuan and Donglin Yang and Jianfei Guo and Xiangchao Yan and Renqiu Xia and Botian Shi and Min Dou and Tao Chen and Si Liu and Junchi Yan and Yu Qiao},
journal= {arXiv preprint arXiv:2309.05527},
year = {2024}
}
备注
Accepted by ICLR 2024. Code and simulated points are available at https://github.com/PJLab-ADG/3DTrans#resimad