原型变换器作为统一运动学习器
计算机视觉与模式识别
2024-06-04 v1
摘要
本文介绍了一种名为原型变换器（ProtoFormer）的通用统一框架，其从原型视角出发处理各种运动任务。ProtoFormer Seamlessly 将原型学习与变换器集成，通过充分考虑运动动力学，提出两种创新设计。首先，交叉注意力原型（Cross-Attention Prototyping）基于运动特征模式发现原型，提供了对运动场景理解的透明度。其次，潜在同步（Latent Synchronization）通过原型引导特征表示学习，有效缓解了运动不确定性问题。实验结果表明，我们的方法在光流和场景深度等流行运动任务上取得了具竞争力的性能。 Furthermore, 它在包括目标跟踪和视频稳定等各种下游任务中展现出良好的通用性。
引用
@article{arxiv.2406.01559,
title = {Prototypical Transformer as Unified Motion Learners},
author = {Cheng Han and Yawen Lu and Guohao Sun and James C. Liang and Zhiwen Cao and Qifan Wang and Qiang Guan and Sohail A. Dianat and Raghuveer M. Rao and Tong Geng and Zhiqiang Tao and Dongfang Liu},
journal= {arXiv preprint arXiv:2406.01559},
year = {2024}
}
备注
21 pages, 10 figures