立体辐射场(SRF):面向新场景稀疏视图的学习视图合成
计算机视觉与模式识别
2021-04-15 v1 机器学习
摘要
近期的神经视图合成方法已实现了令人惊叹的质量与真实感,超越了依赖多视图重建的经典流程。最先进的方法(如 NeRF)被设计为用单一神经网络学习单个场景,且需要密集的多视图输入。在新场景上测试需从头重新训练,耗时 2-3 天。本工作中,我们提出立体辐射场(Stereo Radiance Fields, SRF),一种端到端训练、可泛化至新场景且测试时仅需稀疏视图的神经视图合成方法。其核心思想是一个受经典多视图立体方法启发的神经架构,该方法通过在立体图像中寻找相似图像区域来估计表面点。在 SRF 中,我们针对每个 3D 点,给定其在输入图像中立体对应关系的编码来预测颜色与密度。该编码由一组成对相似度的集成隐式学习得到——模拟经典立体方法。实验表明 SRF 学习的是结构而非对某一场景过拟合。我们在 DTU 数据集的多个场景上训练,并无需重新训练即可泛化至新场景,仅以 10 张稀疏且分散的视图作为输入。我们展示 10-15 分钟的微调可进一步改善结果,获得比场景特定模型显著更锐利、更精细的结果。代码、模型与视频可在 https://virtualhumans.mpi-inf.mpg.de/srf/ 获取。
引用
@article{arxiv.2104.06935,
title = {Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes},
author = {Julian Chibane and Aayush Bansal and Verica Lazova and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2104.06935},
year = {2021}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2021