利用弱几何监督学习对齐图像
计算机视觉与模式识别
2018-08-07 v1
摘要
图像对齐任务需要准确的像素对应，通常通过匹配局部特征描述子来恢复。此类描述子常常通过在具有真值对应的现有数据集上监督学习得到。然而，创建此类数据集的代价通常令人望而却步。本文中，我们提出一种新方法，用于对齐由未知 2D 单应性关联的两幅图像，其中局部描述子从图像中从头学习，同时估计单应性。我们的关键见解是，孪生卷积神经网络可以通过优化单一损失函数迭代更新单应性参数而联合训练。我们的方法目前是弱监督的，因为输入图像需要大致对齐。我们已使用该方法在不同模态图像（如 RGB 与近红外(NIR)）上对齐，且未使用任何先验标注数据。由我们方法自动对齐的图像随后被用于训练可泛化到新图像的描述子。我们也在 RGB 图像上评估了我们的方法。在 HPatches 基准上，我们的方法达到了与离线监督设置下训练的深度局部描述子相当的精度。
引用
@article{arxiv.1808.01424,
title = {Learning to Align Images using Weak Geometric Supervision},
author = {Jing Dong and Byron Boots and Frank Dellaert and Ranveer Chandra and Sudipta N. Sinha},
journal= {arXiv preprint arXiv:1808.01424},
year = {2018}
}
备注
Accepted in 3DV 2018