从视频中蒸馏动力系统的控制定律与源输入

从视频中蒸馏可解释的物理定律因深度学习的进展近来在计算机视觉社区引起了广泛兴趣，但仍是一项巨大挑战。本文引入一种端到端无监督深度学习框架，基于所记录视频揭示由运动物体所呈现的动力学显式控制方程。物理定律并非在图像空间的像素（空间）坐标系中建模，而是在回归得到的潜在物理坐标系中建模，其中物理状态遵循潜在的显式控制方程。设计了一个基于数值积分器的稀疏回归模块，作为自编码器与坐标系回归的物理约束，同时从学习到的物理状态中揭示简洁的闭式控制方程。在模拟动力学场景上的实验表明，所提方法能够从视频记录的若干动力系统中蒸馏出闭式控制方程，并同时识别未知激励输入，这填补了文献中尚无现有方法可解决此类问题的空白。