AutoLink：通过连接关键点自监督学习人体骨骼与物体轮廓
计算机视觉与模式识别
2023-03-27 v6
摘要
关键点等结构化表示广泛应用于姿态迁移、条件图像生成、动画和3D重建。然而，其监督学习需要对每个目标领域进行昂贵的标注。我们提出了一种自监督方法，利用由直线边连接的2D关键点图，学习将物体结构与外观解耦。在仅给定描绘同一物体类别的图像集合的情况下，关键点位置及其成对边权重均被学习。所得图是可解释的，例如，当应用于显示人物的图像时，AutoLink能恢复人体骨骼拓扑结构。我们的关键要素是：i) 在输入图像中预测关键点位置的编码器，ii) 作为潜在变量并在每幅图像中连接相同关键点对的共享图，iii) 以软的、可微分的方式结合潜在图边权重与关键点位置的中间边图，以及 iv) 对随机掩码图像进行修复的目标。尽管更简单，AutoLink在已建立的关键点和姿态估计基准上优于现有的自监督方法，并为在更多样数据集上构建结构条件生成模型铺平了道路。项目网站：https://xingzhehe.github.io/autolink/。
引用
@article{arxiv.2205.10636,
title = {AutoLink: Self-supervised Learning of Human Skeletons and Object Outlines by Linking Keypoints},
author = {Xingzhe He and Bastian Wandt and Helge Rhodin},
journal= {arXiv preprint arXiv:2205.10636},
year = {2023}
}
备注
NeurIPS 2022