面向未见物种的少样本关键点检测与不确定性学习
计算机视觉与模式识别
2022-04-04 v3
摘要
当前非刚性物体关键点检测器在选定物种与身体部位上表现良好，且需要大量标注关键点进行训练。此外，它们为特定身体部位定制的 heatmap 无法识别未见物种上的新关键点（训练未标注的关键点）。我们提出一个有趣且具挑战性的问题：给定少量标注样本，如何检测未见物种的基（训练标注）与新关键点？为此，我们提出一种通用少样本关键点检测（FSKD）流程，可检测不同数量的各类关键点。我们的 FSKD 提供预测关键点的不确定性估计。具体而言，FSKD 包含主辅关键点表示学习、相似性学习以及带不确定性建模的关键点定位，以应对定位噪声。此外，我们通过多元高斯分布对关键点组间的不确定性建模，以利用相邻关键点间的隐式关联。我们在（i）未见物种的新关键点检测，（ii）少样本细粒度视觉识别（FGVR）与（iii）语义对齐（SA）下游任务上展示了 FSKD 的有效性。对于 FGVR，检测到的关键点提升了分类精度。对于 SA，我们展示了一种新颖的薄板样条扭曲，其在不完美关键点对应下利用估计的关键点不确定性。
引用
@article{arxiv.2112.06183,
title = {Few-shot Keypoint Detection with Uncertainty Learning for Unseen Species},
author = {Changsheng Lu and Piotr Koniusz},
journal= {arXiv preprint arXiv:2112.06183},
year = {2022}
}
备注
Accepted by CVPR 2022; 8 pages for main paper, 6 pages for supplementary materials