UNeR3D：无监督重建中从二维图像生成通用且可扩展的三维 RGB 点云
计算机视觉与模式识别
2023-12-13 v1
摘要
在从二维图像进行三维重建的领域中，一个持续存在的挑战是在不依赖三维真值数据的情况下实现高精度重建。我们提出了 UNeR3D，这是一种开创性的无监督方法，为仅从二维视图生成精细的三维重建设立了新标准。我们的模型显著降低了与有监督方法相关的训练成本，并为三维点云引入了 RGB 着色，丰富了视觉体验。UNeR3D 采用反距离加权技术进行颜色渲染，确保了无缝的颜色过渡，增强了视觉保真度。该模型灵活的架构支持使用任意数量的视图进行训练，并且独特的是，它在执行重建时不受训练期间所用视图数量的限制。它可以在推理时使用任意数量的视图进行推断，提供了无与伦比的通用性。此外，该模型连续的空间输入域允许以任何所需分辨率生成点云，从而能够创建高分辨率的三维 RGB 点云。我们通过新颖的多视图几何损失和颜色损失巩固了重建过程，证明我们的模型在单视图输入及更多视图输入下均表现出色，从而重塑了三维视觉中无监督学习的范式。我们的贡献标志着三维视觉领域向前迈出了实质性的一步，为跨多种应用的内容创作开辟了新的视野。代码可在 https://github.com/HongbinLin3589/UNeR3D 获取。
引用
@article{arxiv.2312.06706,
title = {UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D Images in Unsupervised Reconstruction},
author = {Hongbin Lin and Juangui Xu and Qingfeng Xu and Zhengyu Hu and Handing Xu and Yunzhi Chen and Yongjun Hu and Zhenguo Nie},
journal= {arXiv preprint arXiv:2312.06706},
year = {2023}
}
备注
17 pages