Patch2Pix：极线引导的像素级对应
计算机视觉与模式识别
2021-03-30 v3
摘要
用于视觉定位的经典匹配流程通常包含三步：(i) 局部特征检测与描述，(ii) 特征匹配，以及 (iii) 离群值剔除。近期出现的对应网络提议在单一网络内执行这些步骤，但因内存瓶颈而受限于低匹配分辨率。本工作中，我们提出一种以检测至细化方式估计对应的新视角，即先预测块级匹配提议再对其细化。我们提出 Patch2Pix，一种新颖的细化网络，它通过从那些提议所定义的局部区域回归像素级匹配并联合以置信度分数剔除离群匹配来细化匹配提议。Patch2Pix 以弱监督方式学习对输入图像对的极线几何一致的对应。我们表明，我们的细化网络显著提升了对应网络在图像匹配、单应性估计与定位任务上的性能。此外，我们表明我们所学的细化无需重训练即可泛化至全监督方法，由此取得了最先进的定位性能。代码见 https://github.com/GrumpyZhou/patch2pix。
引用
@article{arxiv.2012.01909,
title = {Patch2Pix: Epipolar-Guided Pixel-Level Correspondences},
author = {Qunjie Zhou and Torsten Sattler and Laura Leal-Taixe},
journal= {arXiv preprint arXiv:2012.01909},
year = {2021}
}
备注
CVPR2021 Camera Ready Version