探索点跟踪的时序感知特征
计算机视觉与模式识别
2025-04-22 v2
摘要
视频中的点跟踪是一项具有机器人、视频编辑等应用的基础性任务。虽然许多视觉任务从事物预训练特征主干网络以提高通用性，但点跟踪主要依赖于在合成数据上从零训练的较简单主干网络，这可能限制其在真实场景中的鲁棒性。此外，点跟踪需要时序感知才能确保跨帧的连贯性，但使用时序感知特征仍属探索不足。大多数当前方法常采用两阶段过程：先进行粗糙预测，然后通过注入时序信息来纠正粗糙阶段的错误。这些方法然而计算昂贵且可能冗余若特征主干网络本身捕获足够的时序信息。在本工作中，我们引入 Chrono——一种专为点跟踪设计且内置时序感知的特征主干网络。借助自监督学习器 DINOv2 的预训练表示，并通过时序适配器增强，Chrono 有效捕获长期时序上下文，使其即使无需细化阶段也能实现精确预测。实验结果表明，Chrono 在 TAP-Vid-DAVIS 和 TAP-Vid-Kinetics 数据集上实现了无细化器 setting 下的状态机械水平性能，优于常用点跟踪中各种特征主干以及 DINOv2，同时具有卓越的效率。项目页面: https://cvlab-kaist.github.io/Chrono/
引用
@article{arxiv.2501.12218,
title = {Exploring Temporally-Aware Features for Point Tracking},
author = {Inès Hyeonsu Kim and Seokju Cho and Jiahui Huang and Jung Yi and Joon-Young Lee and Seungryong Kim},
journal= {arXiv preprint arXiv:2501.12218},
year = {2025}
}
备注
CVPR 2025. Project page: https://cvlab-kaist.github.io/Chrono/