HaLP：用于基于骨架的动作自监督学习的潜在正样本幻觉生成
计算机视觉与模式识别
2023-04-04 v1
摘要
近年来，用于动作识别的骨架序列编码器的监督学习受到显著关注。然而，在无标签情况下学习此类编码器仍是一个具有挑战性的问题。尽管已有工作通过将对比学习应用于姿态序列展示了有前景的结果，但所学表征的质量常被观察到与用于构造正样本的数据增强密切相关。然而，增强姿态序列是一项困难任务，因为需要强制骨架关节之间的几何约束以使增强对该动作而言真实合理。在本工作中，我们提出一种新的对比学习方法，以在无标签情况下训练基于骨架的动作识别模型。我们的关键贡献是一个简单模块 HaLP——用于为对比学习幻觉生成潜在正样本（Hallucinate Latent Positives）。具体而言，HaLP 在合适的方向上探索姿态的潜在空间以生成新正样本。为此，我们提出了一种新颖的优化公式来求解合成正样本，并对其硬度进行显式控制。我们给出了该目标的近似，使其能以最小开销闭式求解。我们通过实验表明，在标准对比学习框架中使用这些生成的正样本，可在 NTU-60、NTU-120 和 PKU-II 等基准上的线性评估、迁移学习和 kNN 评估等任务中带来一致提升。我们的代码将发布于 https://github.com/anshulbshah/HaLP。
引用
@article{arxiv.2304.00387,
title = {HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions},
author = {Anshul Shah and Aniket Roy and Ketul Shah and Shlok Kumar Mishra and David Jacobs and Anoop Cherian and Rama Chellappa},
journal= {arXiv preprint arXiv:2304.00387},
year = {2023}
}
备注
To be presented at CVPR 2023