面向自监督基于骨架的动作识别的聚焦对比视不变学习
计算机视觉与模式识别
2023-04-04 v1
摘要
学习视不变表示是提升基于骨架的动作识别特征判别力的关键。现有方法因隐式的视相关表示而无法有效去除视角影响。本文提出一种称为聚焦对比视不变学习（FoCoViL）的自监督框架，其在视角被粗略对齐的表示空间上显著抑制视特定信息。通过最大化多视角样本对间带有效对比损失的交互信息，FoCoViL将动作与公共视不变属性相关联，同时分离相异属性。我们进一步提出基于成对相似度的自适应聚焦方法，以增强对比学习，在学习空间中获得更清晰的簇边界。与许多依赖有监督分类器的现有自监督表示学习工作不同，FoCoViL在无监督与有监督分类器上均表现良好，且具有更优的识别性能。大量实验还表明，所提出的基于对比的聚焦生成了更具判别性的潜在表示。
引用
@article{arxiv.2304.00858,
title = {Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition},
author = {Qianhui Men and Edmond S. L. Ho and Hubert P. H. Shum and Howard Leung},
journal= {arXiv preprint arXiv:2304.00858},
year = {2023}
}