NovelGS：基于大规模高斯重建模型的一致性新视角去噪
计算机视觉与模式识别
2024-11-27 v1
摘要
我们提出NovelGS，这是一种用于稀疏视图图像的高斯拼接（GS）扩散模型。近期工作利用前馈网络生成像素对齐的高斯，这些高斯可以快速渲染。然而，由于这些方法的 formulation，无法产生输入图像覆盖范围之外区域的满意结果。在 contrast下，我们利用基于Transformer的网络进行新视角去噪，以生成3D高斯。具体而言，通过整合条件视图和带噪目标视图，网络为每个视图预测像素对齐的高斯。在训练期间，对渲染的目标以及一些额外视图的高斯进行监督。在推理期间，目标视图从纯噪声迭代渲染并去噪。我们的方法在解决多视图图像重建挑战方面表现出领先水平。由于对不可见区域的生成式建模，NovelGS能够有效重建具有一致且锐利纹理的3D对象。在公开可获得的数据集上进行的实验结果表明，NovelGS在定性和定量评估方面显著优于现有图像到3D框架。我们还展示了NovelGS在生成任务（如文本到3D和图像到3D）中的潜力，通过与现有多视图扩散模型集成实现。我们将公开代码。
关键词
引用
@article{arxiv.2411.16779,
title = {NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model},
author = {Jinpeng Liu and Jiale Xu and Weihao Cheng and Yiming Gao and Xintao Wang and Ying Shan and Yansong Tang},
journal= {arXiv preprint arXiv:2411.16779},
year = {2024}
}