从落叶中看风：端到端可微逆图学习推断看不见的力

计算机视觉领域的一个长期目标是建模视频中的运动，而运动背后的表示，即导致物体变形和移动的看不见的物理相互作用，仍 largely未被探索。在本文中，我们研究如何从视觉观察中恢复看不见的力，例如通过观察落叶落地来估计风场。我们的关键创新是端到端可微的逆图学习框架，能够直接从视频中联合建模物体几何、物理属性和相互作用。通过反向传播，我们的方法实现从物体运动中恢复力表示。我们在合成和真实场景上进行验证，结果表明该方法能够从视频中推断出合理的力场。此外，我们展示了该方法的潜在应用，包括基于物理的视频生成和编辑。我们希望我们的工作为理解和建模像素背后的物理过程提供启发，弥合视觉与物理学之间的鸿沟。请参阅我们的 \href{https://chaoren2357.github.io/seeingthewind/}{项目页面}获取更多视频结果。