基于深度学习的新型视图合成
计算机视觉与模式识别
2021-07-15 v1
摘要
从真实世界图像预测场景的新型视图一直是一项具有挑战性的任务。在本工作中，我们提出一种深度卷积神经网络(CNN)，其学习从给定图像集合预测场景的新型视图。与先前只能处理固定数量输入图像来预测新型视图的基于深度学习的方法相比，所提方法可处理不同数量的输入图像。所提模型对给定输入图像对显式执行特征提取与匹配，并在每个像素处估计场景中可能深度层级上的概率分布(pdf)。该pdf随后用于估计新型视图。模型从给定图像集合估计多个新型视图预测，每个输入图像对给出一个估计。模型还估计遮挡掩码，并将多个新型视图估计组合为单一最优预测。分析中使用的有限深度层级可能导致估计视图偶尔模糊。我们通过简单的多分辨率分析缓解此问题，从而提升估计质量。我们在不同数据集上证实了性能并展示了具有竞争力的表现。
引用
@article{arxiv.2107.06812,
title = {Deep Learning based Novel View Synthesis},
author = {Amit More and Subhasis Chaudhuri},
journal= {arXiv preprint arXiv:2107.06812},
year = {2021}
}