Lift3D：通过将 2D GAN 提升为 3D 生成辐射场来合成 3D 训练数据
计算机视觉与模式识别
2023-04-10 v1
摘要
本工作探索使用 3D 生成模型为 3D 视觉任务合成训练数据。生成模型的关键要求是生成数据应具真实感以匹配真实场景，且相应 3D 属性应与给定采样标签对齐。然而，我们发现近期的基于 NeRF 的 3D GAN 由于其设计的生成流程及缺乏显式 3D 监督，难以满足上述要求。本工作中，我们提出 Lift3D，一种倒置的 2D 到 3D 生成框架以实现数据生成目标。与先前方法相比，Lift3D 具有若干优点：(1) 不同于训练后输出分辨率固定的以往 3D GAN，Lift3D 可泛化至任意相机内参，并具有更高分辨率和真实感输出。(2) 通过将解耦良好的 2D GAN 提升为 3D 物体 NeRF，Lift3D 提供生成物体的显式 3D 信息，从而为下游任务提供准确 3D 标注。我们通过增强自动驾驶数据集来评估框架有效性。实验结果表明我们的数据生成框架能有效提升 3D 物体检测器性能。项目页面：https://len-li.github.io/lift3d-web。
引用
@article{arxiv.2304.03526,
title = {Lift3D: Synthesize 3D Training Data by Lifting 2D GAN to 3D Generative Radiance Field},
author = {Leheng Li and Qing Lian and Luozhou Wang and Ningning Ma and Ying-Cong Chen},
journal= {arXiv preprint arXiv:2304.03526},
year = {2023}
}
备注
CVPR 2023