利用视频序列在生成对抗网络中实现无监督解耦
计算机视觉与模式识别
2019-10-25 v1 机器学习
机器学习
摘要
在这项工作中，我们提出了一种对抗训练算法，该算法利用视频中的相关性来在无监督条件下学习具有解耦潜空间的图像生成器模型。所提出的方法只需对标准生成对抗网络（GAN）算法进行少量修改，并涉及使用从短视频中取出的帧集合进行训练。我们在两个以人脸为中心的视频数据集上训练模型，这些数据集展示了不同人说话或移动头部：VidTIMIT和YouTube Faces数据集。我们发现我们的方案允许我们将生成器潜空间拆分为两个子空间。其中一个控制内容属性，即在短视频序列中不发生变化的那些属性。对于所考虑的数据集，这是所生成人脸的身份。另一个子空间控制运动属性，即在短视频中观察到发生变化的那些属性。我们观察到这些运动属性是面部表情、头部朝向、嘴唇和眼睛运动。所呈现的实验提供了定量和定性证据，支持所提方法在潜空间中诱导了这两类属性的解耦。
引用
@article{arxiv.1910.11104,
title = {Exploiting video sequences for unsupervised disentangling in generative adversarial networks},
author = {Facundo Tuesca and Lucas C. Uzal},
journal= {arXiv preprint arXiv:1910.11104},
year = {2019}
}
备注
This preprint is the result of the work done for the undergraduate dissertation of F. Tuesca supervised by L.C. Uzal and presented in June 2018