基于运动的生成器模型：动态模式中外观、可跟踪与不可跟踪运动的无监督解耦
计算机视觉与模式识别
2019-11-27 v1
摘要
动态模式以复杂的空间与运动模式为特征。理解动态模式需要一个将因子化分量分离的解耦表示模型。动态模式的常用模型是状态空间模型，其中状态根据转移模型随时间演化，并根据发射模型生成观测图像帧。为显式建模运动，模型自然地应基于像素的运动或位移场。因此在发射模型中，我们让隐藏状态生成位移场，该位移场对前一图像帧中的可跟踪分量进行扭曲以生成下一帧，同时加上同步发射的残差图像以解释无法由形变说明的变化。前一图像的扭曲关乎图像帧变化的可跟踪部分，而残差图像关乎图像的不可跟踪部分。我们使用最大似然算法学习该模型，该算法在推断驱动转移模型的潜在噪声向量与给定推断潜在向量更新参数之间迭代。同时我们采用正则项惩罚残差图像的范数，以鼓励模型通过可跟踪运动解释图像帧的变化。与现有的动态模式方法不同，我们在无真实位移场监督的无监督设定下学习模型。此外，我们的模型通过每帧中扭曲分量与残差分量的分离定义了不可跟踪性的概念。我们展示了我们的方法能合成逼真的动态模式，并解耦外观、可跟踪与不可跟踪运动。习得的模型对运动迁移有用，且自然地可用于定义和度量动态模式的不可跟踪性。
引用
@article{arxiv.1911.11294,
title = {Motion-Based Generator Model: Unsupervised Disentanglement of Appearance, Trackable and Intrackable Motions in Dynamic Patterns},
author = {Jianwen Xie and Ruiqi Gao and Zilong Zheng and Song-Chun Zhu and Ying Nian Wu},
journal= {arXiv preprint arXiv:1911.11294},
year = {2019}
}