PeCLR：基于等变对比学习的单目RGB自监督三维手姿估计
计算机视觉与模式识别
2022-08-04 v5
摘要
受对比学习在图像分类任务上成功的鼓舞，我们提出一种用于三维手姿估计这一结构化回归任务的新自监督方法。对比学习利用无标签数据，通过鼓励所学特征表示在任意图像变换下保持不变的损失公式进行表示学习。对于三维手姿估计，对颜色抖动等外观变换具有不变性同样是期望的。然而，该任务要求对旋转和平移等仿射变换具有等变性。为解决此问题，我们提出一种等变对比目标，并展示了其在三维手姿估计背景下的有效性。我们通过实验考察了不变与等变对比目标的影响，表明学习等变特征能为三维手姿估计任务带来更好的表示。此外，我们表明具有足够深度的标准ResNet在额外无标签数据上训练，可在FreiHAND上获得高达14.5%的PA-EPE提升，从而在不使用任何任务特定的专用架构下达到最先进性能。代码与模型见 https://ait.ethz.ch/projects/2021/PeCLR/
引用
@article{arxiv.2106.05953,
title = {PeCLR: Self-Supervised 3D Hand Pose Estimation from monocular RGB via Equivariant Contrastive Learning},
author = {Adrian Spurr and Aneesh Dahiya and Xi Wang and Xucong Zhang and Otmar Hilliges},
journal= {arXiv preprint arXiv:2106.05953},
year = {2022}
}