用于自监督语义匹配的置信度感知对抗学习
计算机视觉与模式识别
2020-08-26 v1
摘要
在本文中，我们旨在解决语义匹配这一具有挑战性的任务，其中即便利用学到的深度特征也难以消解匹配歧义。我们通过考虑预测中的置信度来解决此问题，并提出了一种新颖的细化策略以纠正局部匹配错误。具体地，我们引入了置信度感知语义匹配网络（CAMNet），其实现了我们方法的两个关键思想。首先，我们提出通过自监督学习为匹配预测估计稠密置信度图。其次，基于估计的置信度，我们通过将可靠匹配传播至图像平面上的其余位置来细化初始预测。此外，我们开发了一种新的混合损失，将语义对齐损失与置信度损失以及衡量语义对应质量的对抗损失相整合。我们首次在细化过程中利用置信度以提升语义匹配精度，并为整个匹配网络开发了端到端自监督对抗学习流程。我们在两个公开基准上评估了我们的方法，取得了优于先前最优方法的顶尖性能。我们将在 https://github.com/ShuaiyiHuang/CAMNet 发布源代码。
引用
@article{arxiv.2008.10902,
title = {Confidence-aware Adversarial Learning for Self-supervised Semantic Matching},
author = {Shuaiyi Huang and Qiuyue Wang and Xuming He},
journal= {arXiv preprint arXiv:2008.10902},
year = {2020}
}
备注
PRCV 2020