S2-Net：面向跨模态图像的自监督引导特征表示学习
计算机视觉与模式识别
2022-03-29 v1
摘要
结合跨模态图像的各自优势可弥补单模态中信息的缺失，这已引起研究者对多模态图像匹配任务日益增长的关注。同时，由于跨模态图像对之间巨大的表观差异，往往难以使对应点的特征表示尽可能接近。在本文中，我们设计了一个跨模态特征表示学习网络 S2-Net，它基于近期成功的检测-描述流水线，该流水线原为可见光图像提出，但被改造以适用于跨模态图像对。为解决随之而来的优化困难问题，我们引入带有精心设计的损失函数的自监督学习来引导训练，同时不丢弃原有优势。这一新颖策略模拟同模态下的图像对，这也是对跨模态图像训练的有益引导。值得注意的是，它不需要额外数据，却显著提升了性能，甚至对检测-描述流水线的所有方法都可行。我们进行了大量实验来评估所提策略的性能，并与基于手工设计与基于深度学习的方法进行比较。结果表明，我们所提出的监督与自监督学习组合优化的简洁形式在 RoadScene 与 RGB-NIR 数据集上优于当前最优方法。
引用
@article{arxiv.2203.14581,
title = {S2-Net: Self-supervision Guided Feature Representation Learning for Cross-Modality Images},
author = {Shasha Mei},
journal= {arXiv preprint arXiv:2203.14581},
year = {2022}
}