野生动物的运动预测
计算机视觉与模式识别
2026-04-02 v1
摘要
视觉智能需要预测智能体的未来行为，但视觉系统缺乏对运动与行为的通用表示。我们提出密集点轨迹作为行为的视觉标记，这是一种结构化的中层表示，将运动与外观解耦，并在各种非刚体智能体（如野生动物中的动物）之间泛化。基于这一抽象，我们设计了一个扩散变换器，用于建模无序轨迹集合并显式推理遮挡，从而实现对复杂运动模式的连贯预测。为进行大规模评估，我们整理了 300 小时的无约束动物视频，并具备鲁棒的镜头检测与相机运动补偿。实验表明，预测轨迹标记实现了类别无关、数据高效的预测，超越了最先进基线，并泛化到稀有物种和形态，为野外的预测性视觉智能奠定了基础。
引用
@article{arxiv.2604.01015,
title = {Forecasting Motion in the Wild},
author = {Neerja Thakkar and Shiry Ginosar and Jacob Walker and Jitendra Malik and Joao Carreira and Carl Doersch},
journal= {arXiv preprint arXiv:2604.01015},
year = {2026}
}
备注
project page: https://motion-forecasting.github.io/