EpipolarNVS：利用对极几何进行单图像新视角合成
计算机视觉与模式识别
2022-10-25 v1
摘要
新视角合成（NVS）可根据总体设定通过不同方法处理：从单张源图像到短视频序列、精确或含噪的相机位姿信息、点云等基于 3D 的信息。最具挑战性的场景，即本工作所立足的情形，仅考虑用唯一源图像从另一视点生成新图像。然而，在此棘手情形下，最新的基于学习的方案常难以整合相机视点变换。实际上，外参信息常原样以低维向量传入。甚至可能出现此类相机位姿在以欧拉角参数化时通过独热表示被量化的情况。这种朴素编码选择阻碍了所学架构从相机位姿角度连续推断新视角。我们主张存在一种更好的相对相机位姿编码方式，即利用对极约束等 3D 相关概念。因此，我们引入一种将视点变换编码为 2D 特征图的创新方法。这种相机编码策略就相机在两视图间如何在空间中移动向网络提供了有意义的线索。通过将相机位姿信息编码为有限数量的彩色对极线，我们通过实验证明该策略优于朴素编码。
引用
@article{arxiv.2210.13077,
title = {EpipolarNVS: leveraging on Epipolar geometry for single-image Novel View Synthesis},
author = {Gaétan Landreau and Mohamed Tamaazousti},
journal= {arXiv preprint arXiv:2210.13077},
year = {2022}
}
备注
Accepted at BMVC 2022 - 21 pages