DatasetNeRF:基于生成辐射场的的高效三维感知数据工厂
计算机视觉与模式识别
2024-08-20 v3
摘要
三维计算机视觉任务的进展需要海量数据,然而对多视图图像进行三维一致标注或对点云进行部件分割既耗时又具挑战性。本文提出 DatasetNeRF,一种能够生成无限量高质量三维一致二维标注及三维点云分割的新方法,同时仅利用极少量二维人工标注。具体而言,我们利用三维生成模型中强大的语义先验来训练语义解码器,仅需少量细粒度标注样本。一旦训练完成,该解码器可在潜空间高效泛化,实现无限数据生成。所生成数据可应用于各类计算机视觉任务,包括视频分割与三维点云分割。我们的方法不仅在分割质量上超越基线模型,在单张图像上实现更优的三维一致性与分割精度,还展现出通用性,可同时适用于关节与非关节生成模型。此外,我们探索了源于本方法的应用,如三维感知语义编辑与三维反演。
引用
@article{arxiv.2311.12063,
title = {DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields},
author = {Yu Chi and Fangneng Zhan and Sibo Wu and Christian Theobalt and Adam Kortylewski},
journal= {arXiv preprint arXiv:2311.12063},
year = {2024}
}
备注
Accepted by ECCV 2024. Project page: https://ychgoaround.github.io/projects/DatasetNeRF/