DeDoDe：检测而不描述——描述而不检测的局部特征匹配方法
计算机视觉与模式识别
2023-12-12 v3
摘要
关键点检测是 3D 重建中的关键步骤，需在场景每视图中检测至多 K 个点的集合。关键的是，检测点需在视图间一致，即对应场景中同一 3D 点。关键点检测的主要挑战之一在于学习目标的表述。既往基于学习的方法通常联合学习描述子与关键点，并将关键点检测视为互最近邻上的二分类任务。然而，将关键点检测建立在描述子最近邻之上是一种代理任务，无法保证产生 3D 一致的关键点。此外，这将关键点绑定至特定描述子，使下游使用复杂化。本工作中，我们改从 3D 一致性直接学习关键点。为此，我们训练检测器从大规模 SfM 中检测轨迹。由于这些点常过于稀疏，我们导出一种半监督双视图检测目标，将该集合扩展至期望检测数。为训练描述子，我们以独立网络在关键点上最大化互最近邻目标。结果表明，我们的方法 DeDoDe 在多个几何基准上取得显著增益。代码见 https://github.com/Parskatt/DeDoDe
引用
@article{arxiv.2308.08479,
title = {DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching},
author = {Johan Edstedt and Georg Bökman and Mårten Wadenbäck and Michael Felsberg},
journal= {arXiv preprint arXiv:2308.08479},
year = {2023}
}
备注
Accepted to 3DV 2024 (Oral)