CoKe：用于鲁棒关键点检测的局部对比学习
计算机视觉与模式识别
2022-12-06 v4
摘要
本文中，我们提出一种用于关键点检测的对比学习框架（CoKe）。关键点检测不同于其他已应用对比学习的视觉任务，因为其输入是一组标注了多个关键点的图像。这要求将对比学习扩展为使得关键点被独立地表示与检测，从而使对比损失能够令关键点特征彼此不同且与背景不同。我们的方法有两个好处：它使我们能够将对比学习用于关键点检测；并且由于独立检测每个关键点，相较于尝试联合检测所有关键点的整体式方法（如堆叠沙漏网络），检测对遮挡更具鲁棒性。我们的 CoKe 框架引入了若干技术创新。特别地，我们引入：(i) 用于表示非关键点特征的杂波库；(ii) 存储关键点原型表示以近似关键点间对比损失的关键点库；以及 (iii) 在训练特征提取器的同时学习关键点原型的累积移动平均更新。我们在一系列多样化数据集（PASCAL3D+、MPII、ObjectNet3D）上的实验表明，我们的方法在关键点检测上表现与替代方法相当或更优，即便对于文献浩如烟海的人体关键点也是如此。此外，我们观察到 CoKe 对部分遮挡和此前未见过的物体姿态具有极强的鲁棒性。
引用
@article{arxiv.2009.14115,
title = {CoKe: Localized Contrastive Learning for Robust Keypoint Detection},
author = {Yutong Bai and Angtian Wang and Adam Kortylewski and Alan Yuille},
journal= {arXiv preprint arXiv:2009.14115},
year = {2022}
}
备注
Accepted to WACV 2023