从配对到序列：基于轨迹感知的策略梯度关键点检测
计算机视觉与模式识别
2026-05-18 v4
摘要
关键点匹配是现代 3D 视觉系统（如结构从运动 (SfM) 和 SLAM）的基本组成部分。大多数现有基于学习的方法是在图像配对上进行训练的，这种范式未能显式优化关键点在面对挑战性视角和光照变化时跨序列的长期可追踪性。在本文中，我们将关键点检测重新定义为序列决策问题。我们引入了 TraqPoint，一个新颖的、基于强化学习 (RL) 的端到端框架，旨在直接优化关键点的 \textbf{Tra}ck-\textbf{q}uality (Traq)。我们的核心创新是一种轨迹感知奖励机制，联合鼓励关键点在多个视角下的一致性和辨识度，并受策略梯度方法指导。对稀疏匹配基准的广泛评估，包括相对姿态估计和 3D 重建，表明 TraqPoint 在关键点检测和描述方面显著优于一些最先进 (SOTA) 方法。代码将在 https://github.com/xiaomi-research/traqpoint 上提供。
引用
@article{arxiv.2602.20630,
title = {From Pairs to Sequences: Track-Aware Policy Gradients for Keypoint Detection},
author = {Yepeng Liu and Hao Li and Liwen Yang and Fangzhen Li and Xudi Ge and Yuliang Gu and kuang Gao and Bing Wang and Guang Chen and Hangjun Ye and Yongchao Xu},
journal= {arXiv preprint arXiv:2602.20630},
year = {2026}
}
备注
Accepted by CVPR 2026 (Oral)