利用物体级先验学习语义对应
计算机视觉与模式识别
2020-07-23 v2
摘要
我们研究语义对应问题，即在描绘同一物体或场景类别不同实例的图像之间建立稠密流场。我们提出使用带有二值前景掩码并经过合成几何形变的图像来训练卷积神经网络（CNN）完成该任务。将这些掩码作为监督信号的一部分，为语义对应任务提供了物体级先验，并在语义流方法（其训练数据量受人工选取点对应成本限制）与语义对齐方法（其图像间单一全局几何变换的回归可能对背景杂波等图像特定细节敏感）之间取得了良好折衷。我们提出一种称为 SFNet 的新 CNN 架构来实现该思路。它利用一个新的可微版 argmax 函数进行端到端训练，其损失结合了掩码与流一致性以及平滑项。实验结果证明了我们方法的有效性，在标准基准上显著优于当前最优方法。
引用
@article{arxiv.1911.12914,
title = {Learning Semantic Correspondence Exploiting an Object-level Prior},
author = {Junghyup Lee and Dohyung Kim and Wonkyung Lee and Jean Ponce and Bumsub Ham},
journal= {arXiv preprint arXiv:1911.12914},
year = {2020}
}
备注
Accepted to TPAMI. arXiv admin note: substantial text overlap with arXiv:1904.01810