面向动作识别预训练的人本先验引导与任务依赖多任务表征学习
计算机视觉与模式识别
2022-04-28 v1 机器学习
摘要
近年来，自监督动作识别取得了长足进展。现有方法大多强调视频间的对比关系，包括外观和运动一致性。然而，现有预训练方法仍存在两个主要问题：1）学习到的表征是中性的，对特定任务信息量不足；2）基于多任务学习的预训练有时会因不同任务领域不一致而导致次优解。为解决上述问题，我们提出了一种新颖的动作识别预训练框架，该框架利用以人为中心的先验知识生成信息量更丰富的表征，并通过使用任务依赖的表征来避免多任务之间的冲突。具体而言，我们从人体解析模型中蒸馏知识，以丰富表征的语义能力。此外，我们将知识蒸馏与对比学习相结合，构建了一个任务依赖的多任务框架。我们在两个流行的动作识别基准数据集 UCF101 和 HMDB51 上取得了最先进的性能，验证了我们方法的有效性。
引用
@article{arxiv.2204.12729,
title = {Human-Centered Prior-Guided and Task-Dependent Multi-Task Representation Learning for Action Recognition Pre-Training},
author = {Guanhong Wang and Keyu Lu and Yang Zhou and Zhanhao He and Gaoang Wang},
journal= {arXiv preprint arXiv:2204.12729},
year = {2022}
}
备注
This paper has been accepted by ICME 2022