用于引导类条件视频预测的无监督关键点学习
计算机视觉与模式识别
2019-10-07 v1
摘要
我们提出一种以单幅图像和动作类为条件的深度视频预测模型。为生成未来帧，我们首先检测运动对象的关键点，并将未来运动预测为关键点序列。随后输入图像按照预测的关键点序列进行变换以合成未来帧。关键点检测是我们算法的核心，我们的方法经训练能以无监督方式检测任意对象的关键点。此外，原始视频中检测到的关键点被用作伪标签来学习对象运动。实验结果表明，我们的方法可成功应用于多个数据集，且无需标注视频关键点的成本。检测到的关键点类似于人工标注标签，且预测结果比以往方法更真实。
引用
@article{arxiv.1910.02027,
title = {Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction},
author = {Yunji Kim and Seonghyeon Nam and In Cho and Seon Joo Kim},
journal= {arXiv preprint arXiv:1910.02027},
year = {2019}
}
备注
NeurIPS 2019