少样本几何感知关键点定位
计算机视觉与模式识别
2023-03-31 v1
摘要
有监督关键点定位方法依赖于大规模人工标注的图像数据集，其中物体可能发生形变、关节运动或遮挡。然而，创建此类大规模关键点标注耗时且昂贵，并常因标注不一致而易出错。因此，我们期望一种能用更少但标注一致的图像来学习关键点定位的方法。为此，我们提出了一种新颖的公式化方法，可学习定位语义一致的关键点定义，即便对于遮挡区域和不同物体类别也能适用。我们使用少量用户标注的2D图像作为输入示例，并通过自监督利用更大的无标注数据集进行扩展。与无监督方法不同，少样本图像充当物体定位的语义形状约束。此外，我们引入3D几何感知约束以提升关键点，实现更精确的2D定位。我们的通用公式化方法为语义条件生成建模铺平了道路，并在包括人脸、眼睛、动物、汽车以及此前少样本方法未尝试过的未见口腔内部（牙齿）定位任务在内的多个数据集上达到了有竞争力或最先进的精度。项目页面：https://xingzhehe.github.io/FewShot3DKP/}{https://xingzhehe.github.io/FewShot3DKP/
引用
@article{arxiv.2303.17216,
title = {Few-shot Geometry-Aware Keypoint Localization},
author = {Xingzhe He and Gaurav Bharaj and David Ferman and Helge Rhodin and Pablo Garrido},
journal= {arXiv preprint arXiv:2303.17216},
year = {2023}
}
备注
CVPR 2023