基于 Transformer 网络的关键点跟踪
计算机视觉与模式识别
2022-03-25 v1
摘要
在本论文中，我们提出了利用 transformer 网络进行跨图像稀疏关键点跟踪的开创性工作。尽管基于深度学习的关键点匹配已通过图神经网络——以及最近的 transformer 网络——得到广泛研究，但它们仍然相对过慢，难以实时运行，并且对关键点检测器的低可重复性尤为敏感。为解决这些不足，我们提出研究实时且鲁棒的关键点跟踪这一特定情形。具体而言，我们提出了一种新颖的架构，可确保对视频序列连续图像之间的关键点跟踪进行快速且鲁棒的估计。我们的方法利用了计算机视觉领域最近的突破，即视觉 transformer 网络。我们的方法由两个连续阶段组成：粗匹配，随后对关键点对应预测进行精细定位。通过多种实验，我们证明了我们的方法取得了具有竞争力的结果，并展现出针对光照变化、遮挡和视角差异等不利条件的高鲁棒性。
引用
@article{arxiv.2203.12848,
title = {Keypoints Tracking via Transformer Networks},
author = {Oleksii Nasypanyi and Francois Rameau},
journal= {arXiv preprint arXiv:2203.12848},
year = {2022}
}