ProMotion：原型作为运动学习器
计算机视觉与模式识别
2024-06-10 v1
摘要
在这项工作中，我们引入了ProMotion，一个统一的原型框架，旨在建模基本的运动任务。ProMotion提供了一系列引人注目的特性，使其与当前任务特定的范式区分开来。我们采用原型视角，建立了一个统一范式，协调了不同的运动学习方法。这种新颖的范式简化了架构设计，使得能够同时吸收多样的运动信息。我们利用特征去噪器和原型学习器的双重机制来解读运动的复杂性。这种方法有效规避了像素级特征匹配中的歧义陷阱，显著增强了运动表示的鲁棒性。我们展示了跨不同运动模式的深度可迁移性。这种固有的多功能性在广泛的2D和3D下游任务中得到了强有力的体现。实验结果表明，ProMotion优于各种知名的专用架构，在Sintel和KITTI深度数据集上分别达到0.54和0.054的Abs Rel误差，在Sintel光流基准的clean和final pass上分别达到1.04和2.01的平均端点误差，在KITTI光流基准上达到4.30的F1-all误差。鉴于其有效性，我们希望我们的工作能够催化计算机视觉中通用模型的范式转变。
引用
@article{arxiv.2406.04999,
title = {ProMotion: Prototypes As Motion Learners},
author = {Yawen Lu and Dongfang Liu and Qifan Wang and Cheng Han and Yiming Cui and Zhiwen Cao and Xueling Zhang and Yingjie Victor Chen and Heng Fan},
journal= {arXiv preprint arXiv:2406.04999},
year = {2024}
}
备注
11 pages