基于局部一致性增强孪生网络与互易损失的双视图对应学习
计算机视觉与模式识别
2023-08-10 v1 机器学习
摘要
近期关于双视图对应学习的研究通常建立端到端网络，联合预测对应可靠性和相对位姿。我们从两方面改进此类框架。首先，我们提出一个局部特征一致性（Local Feature Consensus, LFC）插件模块以增强现有模型的特征。给定一个对应特征，该模块利用互邻域一致性增强其邻域特征，并聚合它们以产生增强特征。由于内点遵循统一的跨视图变换且比外点共享更一致的所学特征，特征一致性加强了内点关联并抑制外点干扰，使输出特征对内外点分类更具判别力。其次，现有方法使用真实对应和本质矩阵将一个图像投影到另一个图像来监督网络训练（针对输入图像对），而未考虑反向映射的信息。我们将现有模型扩展为带互易损失的孪生网络，利用相互投影的监督，在不引入额外模型参数的情况下显著提升了匹配性能。基于 MSA-Net，我们实现了上述两项方案，并在基准数据集上实验取得了最先进的性能。
引用
@article{arxiv.2308.03217,
title = {Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning},
author = {Linbo Wang and Jing Wu and Xianyong Fang and Zhengyi Liu and Chenjie Cao and Yanwei Fu},
journal= {arXiv preprint arXiv:2308.03217},
year = {2023}
}