GaussianObject：基于高斯泼溅的四视图高质量三维物体重建
摘要
从极度稀疏的视图重建和渲染三维物体对于促进三维视觉技术的应用和改善用户体验至关重要。然而，稀疏视图的图像仅包含非常有限的三维信息，导致两个重大挑战：1) 由于用于匹配的图像太少，难以建立多视图一致性；2) 由于视图覆盖不足，物体信息部分缺失或高度压缩。为了应对这些挑战，我们提出了 GaussianObject，这是一个利用高斯泼溅（Gaussian splatting）表示和渲染三维物体的框架，仅需 4 张输入图像即可实现高质量的渲染。我们首先引入了视觉外壳（visual hull）和浮点消除（floater elimination）技术，将结构先验显式注入初始优化过程以帮助建立多视图一致性，从而生成粗略的三维高斯表示。然后，我们构建了一个基于扩散模型的高斯修复模型来补充缺失的物体信息，在此过程中进一步细化高斯分布。我们设计了一种自生成策略来获取图像对以训练修复模型。我们还设计了一种无需 COLMAP 的变体，不需要预先给定的精确相机位姿，该变体实现了具有竞争力的质量并促进了更广泛的应用。GaussianObject 在多个具有挑战性的数据集上进行了评估，包括 MipNeRF360、OmniObject3D、OpenIllumination 以及我们收集的未标定图像，仅用四个视图就取得了卓越的性能，并显著优于之前的 SOTA 方法。我们的演示页面位于 https://gaussianobject.github.io/，代码已发布在 https://github.com/GaussianObject/GaussianObject。
引用
@article{arxiv.2402.10259,
title = {GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting},
author = {Chen Yang and Sikuang Li and Jiemin Fang and Ruofan Liang and Lingxi Xie and Xiaopeng Zhang and Wei Shen and Qi Tian},
journal= {arXiv preprint arXiv:2402.10259},
year = {2024}
}
备注
ACM Transactions on Graphics (SIGGRAPH Asia 2024). Project page: https://gaussianobject.github.io/ Code: https://github.com/chensjtu/GaussianObject