基于共面感知 GAN 的无监督单应性估计
计算机视觉与模式识别
2022-05-10 v1
摘要
从图像对中估计单应性是图像对齐中的基本问题。由于性能优异且无需标签训练，无监督学习方法在该领域受到越来越多的关注。然而，现有方法未显式考虑平面诱导视差问题，这将使预测的单应性在多个平面上产生折衷。在本工作中，我们提出一种新方法 HomoGAN，以引导无监督单应性估计聚焦于主导平面。首先，设计了一个多尺度 transformer 网络，以由粗到细的方式从输入图像的特征金字塔中预测单应性。此外，我们提出一种无监督 GAN 对预测的单应性施加共面性约束，其通过一个生成器预测对齐区域掩码，再由一个判别器检查两个掩码特征图是否由单个单应性诱导来实现。为验证 HomoGAN 及其组件的有效性，我们在一个大规模数据集上进行了大量实验，结果表明我们的匹配误差比先前 SOTA 方法低 22%。代码见 https://github.com/megvii-research/HomoGAN。
引用
@article{arxiv.2205.03821,
title = {Unsupervised Homography Estimation with Coplanarity-Aware GAN},
author = {Mingbo Hong and Yuhang Lu and Nianjin Ye and Chunyu Lin and Qijun Zhao and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2205.03821},
year = {2022}
}
备注
Accepted by CVPR2022