DeDoDe v2：分析与改进 DeDoDe 关键点检测器

在本文中，我们分析并改进了最近提出的 DeDoDe 关键点检测器。我们重点关注几个关键问题。首先，我们发现 DeDoDe 关键点倾向于聚集在一起，我们通过在训练期间对检测器的目标分布执行非极大值抑制来解决这个问题。其次，我们解决了与数据增强相关的问题。特别是，DeDoDe 检测器对大旋转敏感。我们通过加入 90 度旋转以及水平翻转来解决这个问题。最后，DeDoDe 检测器的解耦特性使得对下游实用性的评估变得困难。我们通过使用预训练的密集匹配器（RoMa）匹配关键点并评估两视图姿态估计来解决这个问题。我们发现原始的长训练时间对性能有害，因此我们提出了一个更短的训练计划。我们将所有这些改进整合到我们提出的 DeDoDe v2 检测器中，并使用原始的 DeDoDe 描述符在 MegaDepth-1500 和 IMC2022 基准上进行评估。我们提出的检测器显著提高了姿态估计结果，特别是在 IMC2022 挑战赛上从 75.9 提高到 78.3 mAA。代码和权重可在 https://github.com/Parskatt/DeDoDe 获取。