基于双流的多视角再生式变形
计算机视觉与模式识别
2022-08-03 v1
摘要
本文旨在解决多视角设定下的图像变形新任务，其以两组多视角图像作为输入，生成的中间渲染不仅展现两组输入间的平滑过渡，还确保在任意过渡状态下不同视角间的视觉一致性。为实现该目标，我们提出一种称为多视角再生式变形（Multiview Regenerative Morphing）的新方法，将变形过程表述为求解刚性变换和最优传输插值的优化问题。给定源和目标场景的多视角输入图像，我们首先学习对每个场景几何和外观建模的体表示，以启用新视角渲染。然后，通过在Wasserstein度量下求解两体表示间的最优传输获得两场景间变形。我们的方法不依赖用户指定对应或2D/3D输入网格，且不假设源和目标场景的任何预定义类别。所提视角一致插值方案直接作用于多视角图像，产生新颖且视觉合理的多视角自由形式变形效果。
引用
@article{arxiv.2208.01287,
title = {Multiview Regenerative Morphing with Dual Flows},
author = {Chih-Jung Tsai and Cheng Sun and Hwann-Tzong Chen},
journal= {arXiv preprint arXiv:2208.01287},
year = {2022}
}