面向宽多基线立体匹配的学习与精心设计
计算机视觉与模式识别
2021-12-23 v1
摘要
本论文提出宽多基线立体（WxBS）问题。WxBS 作为标准宽基线立体问题的推广，考虑同时在一个以上图像采集因素（如视点、光照、传感器类型）上不同，或物体外观发生显著变化（例如随时间）的图像匹配。我们引入了带真值、评价指标与基线方法的新数据集。论文给出了 WxBS 流程的如下改进：(i) 一种称为 HardNeg 的损失函数，用于学习局部图像描述子，其依赖于 mini-batch 内的难负样本挖掘，以及最相近正样本与最相近负样本间距离的最大化。(ii) 用 HardNeg 损失训练的描述子称为 HardNet，其紧凑且在标准匹配、块验证与检索基准上展现最先进性能。(iii) 一种学习局部特征的仿射形状、方向及潜在其他与几何和外观属性相关参数的方法。(iv) 提出一种将标准最近与次近距离比推广的暂定对应点生成策略。该选择策略性能优于标准方法，既适用于 SIFT、LIOP、MROGH 等硬性设计描述子，也适用于 HardNet 等深度学习方法。(v) 针对两视图匹配问题引入反馈回路，得到 MODS——按需视图合成的匹配——算法。MODS 可处理比先前最先进 ASIFT 算法更大的视角差，且相比“标准”宽基线与窄基线方法无显著计算成本增加。最后同样重要的是，引入了针对局部特征与鲁棒估计算法的综合基准。
引用
@article{arxiv.2112.12027,
title = {Learning and Crafting for the Wide Multiple Baseline Stereo},
author = {Dmytro Mishkin},
journal= {arXiv preprint arXiv:2112.12027},
year = {2021}
}
备注
After-defence version with additional fixes based on reviewer commends. 144 pages