用于自监督人体动作识别的跨模型跨流学习
计算机视觉与模式识别
2024-10-02 v2
摘要
考虑到实例级判别能力，包括MoCo与SimCLR在内的对比学习方法已被从原始图像表示学习任务改编，以解决自监督基于骨架的动作识别任务。这些方法通常使用多数据流（即关节、运动与骨骼）进行集成学习，同时，如何在单流内构建判别性特征空间并有效聚合多流信息仍是一个开放问题。为此，本文首先应用一种称为BYOL的新对比学习方法来从骨架数据学习，并将SkeletonBYOL构建为自监督基于骨架的动作识别的一个简洁而有效的基线。受SkeletonBYOL启发，本文进一步提出跨模型与跨流（CMCS）框架。该框架结合了跨模型对抗学习（CMAL）与跨流协作学习（CSCL）。具体而言，CMAL通过跨模型对抗损失学习单流表示以获得更具判别性的特征。为聚合并交互多流信息，CSCL通过生成集成学习的相似度伪标签作为监督并引导各流的特征生成而设计。在三个数据集上的大量实验验证了CMAL与CSCL间的互补特性，也验证了所提方法在各种评估协议下均能取得优于SOTA方法的结果。
引用
@article{arxiv.2307.07791,
title = {Cross-Model Cross-Stream Learning for Self-Supervised Human Action Recognition},
author = {Mengyuan Liu and Hong Liu and Tianyu Guo},
journal= {arXiv preprint arXiv:2307.07791},
year = {2024}
}
备注
https://github.com/Levigty/CMCS . IEEE Transactions on Human-Machine Systems, 2024