AUTO3D：通过无监督学习的变分视点与全局 3D 表示进行新视角合成
计算机视觉与模式识别
2021-06-08 v2 机器学习
摘要
本文面向从单张或有限张 2D 图像进行基于学习的新视角合成，且无需姿态监督。在以观察者为中心的坐标系中，我们构建了一个端到端可训练的条件变分框架，以解耦无监督学习的相对姿态/旋转与隐式全局 3D 表示（形状、纹理及以观察者为中心坐标系的原点等）。3D 物体的全局外观由从任意数量视角拍摄的若干外观描述图像给出。我们的空间关联模块以排列不变的方式从外观描述图像中提取全局 3D 表示。我们的系统可在无需显式 3D 重建的情况下实现隐式 3D 理解。借助无监督学习的以观察者为中心的相对姿态/旋转编码，解码器可通过在先验分布中采样相对姿态来连续地幻构新视角。在各种应用中，我们证明我们的模型可取得与基于姿态/3D 模型监督学习的新视角合成（NVS）方法相当甚至更好的结果，且输入视角数量任意。
引用
@article{arxiv.2007.06620,
title = {AUTO3D: Novel view synthesis through unsupervisely learned variational viewpoint and global 3D representation},
author = {Xiaofeng Liu and Tong Che and Yiqun Lu and Chao Yang and Site Li and Jane You},
journal= {arXiv preprint arXiv:2007.06620},
year = {2021}
}
备注
ECCV 2020