基于无监督学习的单图像新视角合成
计算机视觉与模式识别
2021-11-01 v1
摘要
视角合成旨在从一个或多个给定源视角生成新视角。尽管现有方法已取得可喜性能，它们通常需要不同姿态的成对视图以学习像素变换。本文提出一种无监督网络，从单一源视角学习此种像素变换。具体而言，该网络由一个 token 变换模块（TTM）与一个视角生成模块（VGM）组成：TTM 将源视角图像提取的特征变换为关于预定义参考姿态的内在表示，VGM 从该表示合成任意视角。所学变换使我们能从任意未知姿态的单源视角图像合成新视角。在广泛使用的视角合成数据集上的实验表明，尽管学习为无监督且生成新视角仅需单源视角图像，所提网络仍能产生与最先进方法相当的结果。代码将很快公开。
引用
@article{arxiv.2110.15569,
title = {Novel View Synthesis from a Single Image via Unsupervised learning},
author = {Bingzheng Liu and Jianjun Lei and Bo Peng and Chuanbo Yu and Wanqing Li and Nam Ling},
journal= {arXiv preprint arXiv:2110.15569},
year = {2021}
}
备注
9 pages, submitted to TCSVT