iPOKE：对静态图像施加局部扰动以实现可控随机视频合成

静态场景对局部扰动会作何反应？如果能在局部推动物体，其其他部分会受到什么影响？尽管我们世界固有的随机性会带来明显变化，但仍会产生 distinctive 的运动。这些结果由物体的特征运动学支配，后者决定了由局部相互作用引起的整体运动。反之，物体的运动提供了关于其潜在特征运动学及各部分间相互依赖关系的关键信息。这种双向关系促使我们学习物体运动学与合理未来图像序列之间的双射映射。因此，我们提出 iPOKE——可逆的物体运动学预测（invertible Prediction of Object Kinematics）——它以初始帧和局部扰动为条件，允许对物体运动学进行采样，并建立与相应合理视频的一一对应，从而实现可控的随机视频合成。与以往工作不同，我们不生成任意逼真视频，而是提供对运动的高效控制，同时仍捕捉环境的随机本质及其带来的合理结果多样性。此外，我们的方法可将运动学迁移到新颖物体实例上，且不局限于特定物体类别。我们的项目页面位于 https://bit.ly/3dJN4Lf。