DMMG：用于自监督基于骨架的动作识别的对偶极小极大博弈
计算机视觉与模式识别
2023-02-24 v1
摘要
本工作中，我们提出一种基于新型对偶极小极大博弈（DMMG）的自监督骨架动作识别方法，通过在对比学习框架中增强无标签数据来实现。我们的 DMMG 包含一个视角变化极小极大博弈和一个边扰动极小极大博弈。这两个极小极大博弈采用对抗范式，分别针对骨架序列和图结构身体关节进行数据增强。我们的视角变化极小极大博弈侧重于通过从各种视角生成骨架序列来构建多种困难对比对。这些困难对比对帮助模型学习具代表性的动作特征，从而促进模型向下游任务迁移。此外，我们的边扰动极小极大博弈专于通过扰动基于图的身体关节间连接强度来构建多样困难对比样本。连接强度变化的对比对使模型能够捕获不同动作的最小充分信息，例如动作的代表性手势，同时防止模型过拟合。通过充分利用所提 DMMG，我们能生成充足的挑战性对比对，从而以自监督方式从无标签骨架数据中获取具判别性的动作特征表示。大量实验表明，我们的方法在广泛使用的 NTU-RGB+D 与 NTU120-RGB+D 数据集上多种评估协议下均取得优越结果。
引用
@article{arxiv.2302.12007,
title = {DMMG: Dual Min-Max Games for Self-Supervised Skeleton-Based Action Recognition},
author = {Shannan Guan and Xin Yu and Wei Huang and Gengfa Fang and Haiyan Lu},
journal= {arXiv preprint arXiv:2302.12007},
year = {2023}
}