学习基于能量的时空生成式 ConvNet 用于动态模式
计算机视觉与模式识别
2019-09-27 v1
摘要
视频序列包含丰富的动态模式，例如在时间域中展现平稳性的动态纹理模式，以及在空间或时间域中非平稳的动作模式。我们展示了一种基于能量的时空生成式 ConvNet 可用于建模与合成动态模式。该模型在视频序列上定义概率分布，其对数概率由一个时空 ConvNet 定义，该网络由多层时空滤波器组成以捕获不同尺度的时空模式。模型可通过“分析 by 合成”学习算法从训练视频序列中学习，该算法迭代以下两步。第一步从当前所学模型合成视频序列。第二步基于合成视频序列与观测训练序列之间的差异更新模型参数。我们展示了该学习算法能够合成逼真的动态模式。我们还展示了可以从具有遮挡像素或缺失帧的不完整训练序列中学习模型，从而模型学习与模式补全可同时完成。
引用
@article{arxiv.1909.11975,
title = {Learning Energy-based Spatial-Temporal Generative ConvNets for Dynamic Patterns},
author = {Jianwen Xie and Song-Chun Zhu and Ying Nian Wu},
journal= {arXiv preprint arXiv:1909.11975},
year = {2019}
}