用于自监督基于骨架的动作表示的双曲自步学习
计算机视觉与模式识别
2023-03-14 v1 人工智能
机器学习
摘要
自步学习在已有某些初始知识的任务中(如弱监督学习和域适应)有益于选择和排序从易到复杂的训练样本序列。然而其在无监督学习中的适用性仍未被探索,其中任务知识在训练过程中逐渐成熟。我们提出了一种新颖的 HYperbolic Self-Paced 模型(HYSP)用于学习基于骨架的动作表示。HYSP 采用自监督:它使用数据增强生成同一样本的两个视图,并通过将一个视图(称为在线视图)匹配到另一个视图(目标视图)来进行学习。我们提出使用双曲不确定性来确定算法学习步调,其假设为不确定性较小的样本应以更大的权重和步调更强地驱动训练。双曲不确定性是所采用的双曲神经网络的副产品,它随训练成熟,且与已确立的欧几里得自监督学习(SSL)框架对应方法相比不带来额外开销。在三个已确立的基于骨架的动作识别数据集上测试时,HYSP 在 PKU-MMD I 上超越了最先进水平,并在 NTU-60 和 NTU-120 的 3 个下游任务中的 2 个上超越了最先进水平。此外,HYSP 仅使用正样本对,因此避开了对比技术中为负样本所需的复杂且计算密集的挖掘过程。代码见 https://github.com/paolomandica/HYSP。
引用
@article{arxiv.2303.06242,
title = {HYperbolic Self-Paced Learning for Self-Supervised Skeleton-based Action Representations},
author = {Luca Franco and Paolo Mandica and Bharti Munjal and Fabio Galasso},
journal= {arXiv preprint arXiv:2303.06242},
year = {2023}
}
备注
Accepted at ICLR 2023