VGOS：基于体素网格优化的稀疏输入视角合成
计算机视觉与模式识别
2023-06-05 v2 人工智能
图形学
摘要
神经辐射场（NeRF）因其最先进的质量和灵活性在新视角合成中取得了巨大成功。然而，NeRF 需要密集输入视角（数十到数百张）和较长训练时间（数小时到数天）来为单一场景生成高保真图像。尽管使用体素网格表示辐射场可显著加速优化过程，我们观察到对于稀疏输入，体素网格更容易过拟合训练视角并产生空洞和漂浮物，从而导致伪影。在本文中，我们提出 VGOS，一种从稀疏输入（3-10 张视角）进行快速（3-5 分钟）辐射场重建的方法以解决这些问题。为提升基于体素的辐射场在稀疏输入场景下的性能，我们提出两种方法：（a）引入增量体素训练策略，通过在重建早期抑制外围体素的优化来防止过拟合。（b）使用若干正则化技术平滑体素，以避免退化解。实验表明 VGOS 在稀疏输入下以超快收敛取得了最先进性能。代码将发布于 https://github.com/SJoJoK/VGOS。
引用
@article{arxiv.2304.13386,
title = {VGOS: Voxel Grid Optimization for View Synthesis from Sparse Inputs},
author = {Jiakai Sun and Zhanjie Zhang and Jiafu Chen and Guangyuan Li and Boyan Ji and Lei Zhao and Wei Xing and Huaizhong Lin},
journal= {arXiv preprint arXiv:2304.13386},
year = {2023}
}
备注
IJCAI 2023 Accepted (Main Track)