稀疏相互作用下的运动理解
计算机视觉与模式识别
2025-10-15 v1
摘要
理解物理场景的动态过程涉及推理其可能发生的各种方式，尤其是结果源于局部相互作用。我们提出Flow Poke Transformer (FPT)，一种直接预测局部运动分布的新框架，条件化于稀疏相互作用称为"poke"。不同于传统方法仅能对单一场景动态结果进行稠密采样，FPT 提供可解释且直接可访问的多模态场景运动表示，其对物理相互作用的依赖性以及场景动态固有的不确定性。我们还在多个下游任务上评估该模型，以与先前方法进行比较，凸显方法的灵活性。在密集面部运动生成任务上，通用预训练模型超越了专门基准。在强烈的离域任务（如合成数据集）中进行微调，可显著优于同域方法在关节物体运动估计方面的表现。此外，直接预测显式运动分布使FPT 能够在如从 poke 预测移动部件分割等任务上取得具竞争力的性能，进一步彰显了FPT 的多功能性。代码和模型已公开 https://compvis.github.io/flow-poke-transformer。
引用
@article{arxiv.2510.12777,
title = {What If : Understanding Motion Through Sparse Interactions},
author = {Stefan Andreas Baumann and Nick Stracke and Timy Phan and Björn Ommer},
journal= {arXiv preprint arXiv:2510.12777},
year = {2025}
}
备注
Project page and code: https://compvis.github.io/flow-poke-transformer