SCPNet：基于模态内自监督学习的无监督跨模态单应性估计
计算机视觉与模式识别
2024-07-12 v1
摘要
我们提出了一种基于模态内自监督学习、相关性以及一致特征图投影的无监督跨模态单应性估计新框架，即 SCPNet。本文首次提出模态内自监督学习的概念，以促进无监督跨模态单应性估计。基于相关性的单应性估计网络与一致特征图投影相结合，构成了 SCPNet 的可学习架构，从而增强了该无监督学习框架。SCPNet 是首个在卫星-地图图像对跨模态数据集 GoogleMap 上实现有效无监督单应性估计的方法，在 128x128 图像上 [-32,+32] 偏移量下，其平均角点误差（MACE）较有监督方法 MHN 领先 14.0%。我们进一步在多个跨模态/跨光谱及人工制作的不一致数据集上进行了大量实验，SCPNet 在无监督方法中取得了最先进的性能，其 MACE 比有监督方法 MHN 分别低 49.0%、25.2%、36.4% 和 10.7%。源代码可在 https://github.com/RM-Zhang/SCPNet 获取。
引用
@article{arxiv.2407.08148,
title = {SCPNet: Unsupervised Cross-modal Homography Estimation via Intra-modal Self-supervised Learning},
author = {Runmin Zhang and Jun Ma and Si-Yuan Cao and Lun Luo and Beinan Yu and Shu-Jie Chen and Junwei Li and Hui-Liang Shen},
journal= {arXiv preprint arXiv:2407.08148},
year = {2024}
}
备注
Accepted by ECCV 2024