物理信息跟踪（PIT）

我们提出物理信息跟踪（Physics-Informed Tracking, PIT），这是一种用于从视频中跟踪单个粒子的框架。在该框架中，神经网络自动编码器将粒子局部化为热图峰值（ landmarks），而嵌入在自动编码器中的可微分物理模块则约束多个 landmarks 随时间满足已知动力学。新的物理信息 landmarks 损失（Physics-Informed Landmark Loss, PILL）通过将预测的轨迹与 landmarks 进行比较来实现物理一致性，而无需标签。其监督变体（PILLS）则将预测与来自仿真的真实位置、速度和反弹进行比较，实现端到端反向传播。为支持监督和非监督学习，我们采用瓶颈分为A)通过 landmarks 热图分离跟踪相关结构 B)背景噪声和后续图像重建。我们对复制的26因子设计（n=4个重复，64个配置）进行评估，结果表明PILLS在干净和噪声条件下，对于双线性和物理优化解码器输出，始终实现亚像素级跟踪精度。