DeepMeshFlow：用于鲁棒图像配准的内容自适应网格形变
计算机视觉与模式识别
2019-12-12 v1
摘要
基于网格扭曲（如 meshflow）的图像对齐是一项基础任务，已广泛应用于各类视觉应用（例如多帧 HDR/去噪、视频稳像）。传统网格扭曲方法检测并匹配图像特征，其对齐质量高度依赖于图像特征质量。然而，在低纹理与低光照场景下图像特征并不鲁棒。另一方面，深度单应性方法通过学习深度特征获得鲁棒性能，从而免于此类问题。但单应性仅限于平面运动。本工作中，我们提出一种深度 meshflow 运动模型，其以两幅图像为输入并输出位于网格顶点处的稀疏运动场。深度 meshflow 兼具 meshflow 可描述非线性运动的优点，以及深度单应性对无纹理挑战场景鲁棒的优势。特别地，我们提出一种具有内容自适应能力的无监督网络结构。一方面，在网格表示下无法对齐的图像内容被我们学习的掩码拒绝，类似于 RANSAC 流程。另一方面，我们学习多种网格分辨率，组合为非均匀网格划分。此外，我们呈现了一个涵盖多种场景用于训练与测试的综合数据集。与传统网格扭曲方法及基于深度的方法的比较显示了我们深度 meshflow 运动模型的有效性。
引用
@article{arxiv.1912.05131,
title = {DeepMeshFlow: Content Adaptive Mesh Deformation for Robust Image Registration},
author = {Nianjin Ye and Chuan Wang and Shuaicheng Liu and Lanpeng Jia and Jue Wang and Yongqing Cui},
journal= {arXiv preprint arXiv:1912.05131},
year = {2019}
}
备注
9 pages, 8 figures. arXiv admin note: text overlap with arXiv:1909.05983