基于自一致生成网络的深度视图合成
计算机视觉与模式识别
2021-01-27 v1
摘要
视图合成旨在从两个或更多相机在不同位置捕获的一组视图中生成未见视图。该任务并非易事，因为难以在不同视图间进行像素级匹配。为解决此问题，大多数现有方法试图利用几何信息来匹配像素。然而，当不同相机具有较大基线（即彼此相距较远）时，会出现严重的几何畸变问题，且几何信息可能无法提供有用引导，导致合成图像非常模糊。为应对上述问题，本文提出一种新颖的深度生成模型，称为自一致生成网络（SCGN），其在不明确利用几何信息的情况下从给定输入视图合成新视图。所提 SCGN 模型由两个主要组件构成，即视图合成网络（VSN）与视图分解网络（VDN），二者均采用编码器-解码器结构。此处，VDN 试图从合成的新视图重建输入视图，以保持视图合成的一致性。得益于 VDN，SCGN 能够在编码前不使用任何几何校正即可合成新视图，从而更易于训练与应用。最后，引入对抗损失以提升新视图的真实感。在两个基准任务上与若干最先进方法的定性与定量比较均证明了我们方法的优越性。
引用
@article{arxiv.2101.10844,
title = {Deep View Synthesis via Self-Consistent Generative Network},
author = {Zhuoman Liu and Wei Jia and Ming Yang and Peiyao Luo and Yong Guo and Mingkui Tan},
journal= {arXiv preprint arXiv:2101.10844},
year = {2021}
}