XoFTR：跨模态特征匹配 Transformer
计算机视觉与模式识别
2024-04-16 v1
摘要
我们介绍了 XoFTR，一种用于热红外（TIR）与可见光图像之间局部特征匹配的跨模态跨视角方法。与可见光图像不同，TIR 图像不易受不利光照和天气条件的影响，但由于显著的纹理和强度差异，在匹配时存在困难。当前基于手工设计和学习方法的可见光-TIR匹配在处理视角、尺度和纹理多样性方面存在不足。为了解决这一问题，XoFTR 结合了掩码图像建模预训练和伪热图像增强微调，以处理模态差异。此外，我们引入了一种改进的匹配流水线，通过亚像素级精细化来调整尺度差异并增强匹配可靠性。为了验证我们的方法，我们收集了一个全面的可见光-热数据集，并表明我们的方法在多个基准上优于现有方法。
引用
@article{arxiv.2404.09692,
title = {XoFTR: Cross-modal Feature Matching Transformer},
author = {Önder Tuzcuoğlu and Aybora Köksal and Buğra Sofu and Sinan Kalkan and A. Aydın Alatan},
journal= {arXiv preprint arXiv:2404.09692},
year = {2024}
}
备注
CVPR Image Matching Workshop, 2024. 12 pages, 7 figures, 5 tables. Codes and dataset are available at https://github.com/OnderT/XoFTR