追踪与理解物体变换

现实世界中的物体经常经历状态变换。从苹果被切成块到蝴蝶破茧而出，在这些变化中进行追踪对于理解现实世界物体和动力学非常重要。然而，由于物体外观的显著变化，现有方法通常在变换后丢失对目标物体的追踪。为了解决这一局限性，我们引入了 Track Any State 任务：在变换过程中追踪物体，同时检测并描述状态变化，并附带一个新的基准数据集 VOST-TAS。为了解决这个问题，我们提出了 TubeletGraph，这是一个零样本系统，能够恢复变换后丢失的物体并描绘物体状态随时间的演变过程。TubeletGraph 首先识别可能被忽略的轨迹，并根据语义和邻近性先验决定是否应将它们整合。然后，它对添加的轨迹进行推理，并生成一个描述每个观察到的变换的状态图。TubeletGraph 在变换下实现了最先进的追踪性能，同时展示了对物体变换更深入的理解，以及在复杂物体变换的时间定位和语义推理方面的良好能力。代码、附加结果和基准数据集可在 https://tubelet-graph.github.io 获取。