基于学习自适应多平面图像的野外单视图新视角合成
计算机视觉与模式识别
2022-05-25 v1 图形学
摘要
本文处理野外照片新视角合成的挑战性任务。现有方法利用单目深度估计和分层深度表示下的颜色修复已展现出有前景的结果。然而，这些方法在处理具有复杂 3D 几何的场景时能力仍然有限。我们提出了一种基于多平面图像（MPI）表示的新方法。为适应野外多样的布局并应对生成高维 MPI 内容的困难，我们设计了一个包含两个新颖模块的网络结构，一个用于平面深度调整，另一个用于深度感知颜色预测。前者利用 RGBD 上下文特征和注意力机制调整初始平面位置。给定调整后的深度值，后者通过特征掩码策略实现恰当的平面间交互，分别预测每个平面的颜色和密度。为训练我们的方法，我们仅使用无约束的单视图图像集合，通过简单而有效的回卷策略构建大规模立体训练数据。在合成与真实数据集上的实验表明，我们训练的模型表现极为出色，并达到了最先进的（SOTA）结果。
引用
@article{arxiv.2205.11733,
title = {Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images},
author = {Yuxuan Han and Ruicheng Wang and Jiaolong Yang},
journal= {arXiv preprint arXiv:2205.11733},
year = {2022}
}
备注
ACM SIGGRAPH 2022. Project page: https://yxuhan.github.io/AdaMPI/