面向多模态图像对齐的深度 Lucas-Kanade 单应性估计
计算机视觉与模式识别
2021-04-26 v1
摘要
估计单应性以对齐由不同传感器捕获的图像对或具有较大表观变化的图像对，是许多计算机视觉应用面临的一项重要且普遍的挑战。与其他方法不同，我们通过用网络扩展传统的 Lucas-Kanade 算法，提出了一种逐像素对齐多模态图像对的通用解决方案。我们方法的关键贡献在于如何构建特征图，称为深度 Lucas-Kanade 特征图（DLKFM）。学习到的 DLKFM 能够在各种表观变化条件下自发识别不变特征。它对于 Lucas-Kanade 算法还具有两个良好性质：（1）模板特征图与输入特征图保持亮度一致性，因此当它们对齐良好时颜色差异非常小。（2）基于 DLKFM 构建的 Lucas-Kanade 目标函数在真实单应性参数附近具有平滑的景观，因此 Lucas-Kanade 的迭代解可以轻松收敛到真实值。凭借这些性质，在我们的特征图上直接更新 Lucas-Kanade 算法将精确对齐具有较大表观变化的图像对。我们在线共享了数据集、代码和演示视频。
引用
@article{arxiv.2104.11693,
title = {Deep Lucas-Kanade Homography for Multimodal Image Alignment},
author = {Yiming Zhao and Xinming Huang and Ziming Zhang},
journal= {arXiv preprint arXiv:2104.11693},
year = {2021}
}
备注
Accepted by CVPR2021, codelink: https://github.com/placeforyiming/CVPR21-Deep-Lucas-Kanade-Homography