RANSAC-Flow:通用两阶段图像对齐
计算机视觉与模式识别
2020-07-20 v2
摘要
本文考虑两幅图像之间密集对齐的通用问题,无论它们是视频的两帧、场景的两个截然不同的视图,还是描绘相似内容的两幅画作等。尽管此类任务通常由特定领域的解决方案来处理,但我们表明,一种简单的无监督方法在一系列任务中表现出了惊人的好效果。我们的主要见解是,参数化和非参数化对齐方法具有互补的优势。我们提出一个两阶段过程:首先,使用一个或多个单应性进行基于特征的参数化粗对齐,随后进行非参数化的精细像素级对齐。粗对齐使用现成的深度特征通过RANSAC执行。精细对齐由深度网络以无监督方式学习,该网络优化两幅图像之间的标准结构相似性度量(SSIM)并加上循环一致性。尽管方法简单,我们的方法在一系列任务和数据集上表现出有竞争力的结果,包括KITTI上的无监督光流、Hpatches上的密集对应、YFCC100M上的双视图几何估计、Aachen Day-Night上的定位,以及首次在Brughel数据集上进行艺术品的精细对齐。我们的代码和数据可在http://imagine.enpc.fr/~shenx/RANSAC-Flow/ 获取。
引用
@article{arxiv.2004.01526,
title = {RANSAC-Flow: generic two-stage image alignment},
author = {Xi Shen and François Darmon and Alexei A. Efros and Mathieu Aubry},
journal= {arXiv preprint arXiv:2004.01526},
year = {2020}
}
备注
Accepted to ECCV 2020 as a spotlight. Project page: http://imagine.enpc.fr/~shenx/RANSAC-Flow/