在变分自编码器中利用高斯过程解耦视频序列的多个特征
计算机视觉与模式识别
2020-07-21 v3
摘要
我们引入 MGP-VAE（多解耦特征高斯过程变分自编码器），一种使用高斯过程（GP）对潜空间建模以无监督学习视频序列中解耦表示的变分自编码器。我们改进了先前的工作，建立了一个可解耦多个特征（静态或动态）的框架。具体地，我们使用分数布朗运动（fBM）和布朗桥（BB）在每个独立通道中强制帧间相关结构，并表明改变该结构能够捕捉数据中不同的变化因子。我们在三个公开数据集上通过实验证明了我们表示的质量，并使用视频预测任务量化了改进。此外，我们引入了一种新的测地损失函数，其考虑了数据流形的曲率以改进学习。我们的实验表明，改进的表示与新型损失函数的结合使 MGP-VAE 在视频预测中优于基线方法。
引用
@article{arxiv.2001.02408,
title = {Disentangling Multiple Features in Video Sequences using Gaussian Processes in Variational Autoencoders},
author = {Sarthak Bhagat and Shagun Uppal and Zhuyun Yin and Nengli Lim},
journal= {arXiv preprint arXiv:2001.02408},
year = {2020}
}