点跟踪的局部全对 correspondence
计算机视觉与模式识别
2024-07-23 v1
摘要
我们介绍 LocoTrack，一个高度准确且高效的模型，用于跟踪任意点（TAP）在视频序列中的运动。先前的方法通常依赖局部 2D 相关图从查询图像中的一个点建立到目标图像中局部区域的对应关系，这常常在均匀区域或重复特征方面难以处理，导致匹配歧义。LocoTrack 通过利用区域内的所有配对对应关系，即局部 4D 相关，来建立精确的对应关系，双向对应和匹配平滑性显著增强了对歧义的鲁棒性。我们还采用轻量级相关编码器来提高计算效率，并采用紧凑的 Transformer 架构整合长期时间信息。LocoTrack 在所有 TAP-Vid 数据集基准上实现了卓越的准确性，速度比当前最先进方法快近 6 倍。
引用
@article{arxiv.2407.15420,
title = {Local All-Pair Correspondence for Point Tracking},
author = {Seokju Cho and Jiahui Huang and Jisu Nam and Honggyu An and Seungryong Kim and Joon-Young Lee},
journal= {arXiv preprint arXiv:2407.15420},
year = {2024}
}
备注
ECCV 2024. Project page: https://ku-cvlab.github.io/locotrack Code: https://github.com/KU-CVLAB/locotrack