3DG-STFM：三维几何引导的师生特征匹配
计算机视觉与模式识别
2022-07-21 v2
摘要
我们解决了在一对图像间寻找稠密视觉对应这一关键任务。由于实际场景中存在纹理匮乏、重复图案、光照变化和运动模糊等多种因素，这是一个具有挑战性的问题。与使用稠密对应真值作为局部特征匹配训练直接监督的方法不同，我们训练了 3DG-STFM：一个多模态匹配模型（教师）以在三维稠密对应监督下强制深度一致性，并将知识迁移到二维单模态匹配模型（学生）。教师模型和学生模型均由两个基于 transformer 的匹配模块组成，以由粗到细的方式获取稠密对应。教师模型引导学生模型在粗分支和细分支上学习用于匹配的 RGB 诱导深度信息。我们还在模型压缩任务上评估了 3DG-STFM。据我们所知，3DG-STFM 是首个用于局部特征匹配任务的师生学习方法。实验表明，我们的方法在室内外相机位姿估计和单应性估计问题上优于当前最优（SOTA）方法。代码见：https://github.com/Ryan-prime/3DG-STFM。
引用
@article{arxiv.2207.02375,
title = {3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching},
author = {Runyu Mao and Chen Bai and Yatong An and Fengqing Zhu and Cheng Lu},
journal= {arXiv preprint arXiv:2207.02375},
year = {2022}
}