基于非刚性运动恢复结构的可控 GAN 合成
计算机视觉与模式识别
2022-11-15 v1
摘要
在本文中，我们提出了一种将非刚性运动恢复结构（NRSfM）与深度生成模型相结合的方法，并给出了一个高效框架，用于在 2D GAN 的潜空间中发掘对应于 3D 几何变化的轨迹。我们的方法利用了 NRSfM 的最新进展，能够编辑与潜码相关联的相机与非刚性形状信息，而无需重新训练生成器。该表述提供了一种隐式稠密 3D 重建，因为它能够从任意视角和非刚性结构合成新形状的图像。该方法构建于稀疏骨干之上：首先训练一个神经回归器，直接从潜码回归描述相机与稀疏非刚性结构的参数；随后通过估计给定潜码邻域内回归器的局部逆，辨识出与相机和结构参数变化相关联的潜轨迹。实验表明，我们的方法提供了一种通用、系统化的方式来建模、分析和编辑人脸的几何与非刚性结构。
引用
@article{arxiv.2211.07195,
title = {Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion},
author = {René Haas and Stella Graßhof and Sami S. Brandt},
journal= {arXiv preprint arXiv:2211.07195},
year = {2022}
}