用于稠密对应无监督学习的形变一致性方法
计算机视觉与模式识别
2021-08-19 v3
摘要
学习稠密对应的关键挑战在于缺乏真实图像对的地面真实匹配。尽管光度一致性损失提供了无监督替代方案，但它们难以应对在几何与语义匹配任务中普遍存在的大幅表观变化。此外，依赖合成训练对的方法常因泛化能力差而难以用于真实数据。我们提出 Warp Consistency，一种用于稠密对应回归的无监督学习目标。即使在具有大幅表观与视点变化的环境下，我们的目标依然有效。给定一对真实图像，我们首先通过对其中一幅原始图像施加随机采样的形变来构造图像三元组。我们推导并分析了该三元组之间产生的所有流一致性约束。基于我们的观察与经验结果，我们设计了一个采用所推导约束中两者的通用无监督目标。我们通过训练三个近期用于几何与语义匹配任务的稠密对应网络来验证我们的形变一致性损失。我们的方法在包括 MegaDepth、RobotCar 和 TSS 在内的多个挑战性基准上确立了新的最先进水平。代码与模型见 github.com/PruneTruong/DenseMatching。
引用
@article{arxiv.2104.03308,
title = {Warp Consistency for Unsupervised Learning of Dense Correspondences},
author = {Prune Truong and Martin Danelljan and Fisher Yu and Luc Van Gool},
journal= {arXiv preprint arXiv:2104.03308},
year = {2021}
}
备注
Accepted to ICCV 2021 as an ORAL!