关于对象关键点表示的等变与不变学习
计算机视觉与模式识别
2021-04-06 v2
摘要
给定一组图像，人类能够通过建模跨实例的共享几何结构来发现关键点。这种几何等变的思想已被广泛用于对象关键点表示的无监督发现。在本文中，我们结合实例判别与空间判别的对比学习，开发了一种简单而有效的方法。我们表明，当深度网络被训练为对几何和光度变换保持不变时，其中间层涌现出的表示对对象关键点具有高度预测性。将这些表示跨层堆叠成“超列”并使用空间对比学习进行投影，进一步提升了它们在匹配和少样本关键点回归任务上的性能。我们还通过对比学习的视角对现有的等变与不变表示学习方法给出了统一视角，从而阐明所学不变性的本质。在关键点学习的标准基准以及我们提出的一个新的具有挑战性的基准上的实验表明，所提方法超越了先前的 state-of-the-art。
引用
@article{arxiv.2006.14787,
title = {On Equivariant and Invariant Learning of Object Landmark Representations},
author = {Zezhou Cheng and Jong-Chyi Su and Subhransu Maji},
journal= {arXiv preprint arXiv:2006.14787},
year = {2021}
}
备注
Project Page: https://people.cs.umass.edu/~zezhoucheng/contrastive_landmark Code: https://github.com/cvl-umass/ContrastLandmark