用于图像序列内容与运动解耦的哈密顿潜算子
计算机视觉与模式识别
2022-10-14 v4 人工智能
机器学习
摘要
我们引入\textit{HALO}——一种利用哈密顿潜算子（HAmiltonian Latent Operators）可靠解耦图像序列中内容与运动信息的深度生成模型。\textit{内容}表示序列的汇总统计，\textit{运动}是决定信息在序列任意部分如何表达的动态过程。通过将动力学建模为哈密顿运动，确保了重要诉求：(1) 运动可逆，(2) 相空间中辛、保体积结构意味着路径连续且在潜空间中不发散。因此，序列帧的邻近性由其在相空间中坐标的邻近性实现，这被证明对解耦与长期序列生成极具价值。序列空间通常由不同类型动力学运动构成。为确保长期可分离性并允许可控生成，我们将每个运动关联一个在其各自子空间中作用的唯一哈密顿量。我们通过交换一对序列的运动、可控生成与图像旋转展示了\textit{HALO}的效用。
引用
@article{arxiv.2112.01641,
title = {Hamiltonian latent operators for content and motion disentanglement in image sequences},
author = {Asif Khan and Amos Storkey},
journal= {arXiv preprint arXiv:2112.01641},
year = {2022}
}
备注
Conference paper at NeurIPS 2022