从无未知因素中解耦物理动力学以进行无监督视频预测
计算机视觉与模式识别
2020-03-18 v2
摘要
利用偏微分方程（PDEs）所描述的物理知识是改进无监督视频预测方法的一种引人注目的途径。由于物理对于描述通用视频的全部视觉内容过于受限，我们引入了 PhyDNet，一种双分支深度架构，其显式地将 PDE 动力学与未知的互补信息解耦。第二项贡献是受数据同化技术启发，提出一种新的循环物理单元（PhyCell），用于在隐空间执行 PDE 约束预测。在四个不同数据集上进行的广泛实验表明，PhyDNet 能够优于最先进的方法。消融研究也凸显了由解耦与 PDE 约束预测带来的重要增益。最后，我们展示了 PhyDNet 在处理缺失数据与长期预测方面呈现有趣特性。
引用
@article{arxiv.2003.01460,
title = {Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction},
author = {Vincent Le Guen and Nicolas Thome},
journal= {arXiv preprint arXiv:2003.01460},
year = {2020}
}