神经像素合成：基于多视角图像的3D-4D视图合成
计算机视觉与模式识别
2022-07-22 v1 图形学
摘要
我们提出神经像素合成（NPC），一种新颖的方法，仅以一组离散的多视角观测作为输入，实现连续的3D-4D视图合成。现有最先进的方法需要密集的多视角监督和大量的计算预算。所提出的公式能够可靠地处理稀疏且宽基线的多视角图像，并可在几秒至10分钟内针对高分辨率（12MP）内容高效训练，即比现有方法快200-400倍的收敛速度。我们方法的关键在于两项核心创新：1）一种像素表示，包含从多视角为特定位置和时间沿视线累积的颜色和深度信息；2）一个多层感知机（MLP），能够组合为某像素位置提供的这种丰富信息以获得最终的颜色输出。我们在大量不同的多视角序列上进行实验，与现有方法比较，并在多样且具挑战性的设置中取得更好的结果。最后，我们的方法能够从稀疏多视角实现密集3D重建，而最先进的3D重建方法COLMAP在此情况下表现不佳。
引用
@article{arxiv.2207.10663,
title = {Neural Pixel Composition: 3D-4D View Synthesis from Multi-Views},
author = {Aayush Bansal and Michael Zollhoefer},
journal= {arXiv preprint arXiv:2207.10663},
year = {2022}
}
备注
A technical report on 3D-4D view synthesis (40 pages, 22 figures and 18 tables). High-resolution version of paper: http://www.aayushbansal.xyz/npc/npc_hi-res.pdf. Project page (containing video results): http://www.aayushbansal.xyz/npc/