保留预训练知识：基于自蒸馏的迁移学习用于动作识别
计算机视觉与模式识别
2022-05-03 v1 机器学习
摘要
基于视频的动作识别是计算机视觉中最热门的研究方向之一。随着自监督视频表征学习方法的近期进展，动作识别通常遵循两阶段训练框架，即先在大规模无标签数据集上进行自监督预训练，再在下游有标签数据集上进行迁移学习。然而，在动作识别的下游迁移学习中，预训练知识的灾难性遗忘成为主要问题，导致次优解。本文为缓解上述问题，提出了一种新颖的迁移学习方法，在微调中结合自蒸馏以保留从大规模数据集上学得的预训练模型知识。具体而言，我们将上一轮训练的编码器固定为教师模型，以指导当前轮编码器在迁移学习中的训练。凭借这一简单而有效的学习策略，我们在动作识别任务上广泛使用的 UCF101 和 HMDB51 数据集上优于 SOTA 方法。
引用
@article{arxiv.2205.00506,
title = {Preserve Pre-trained Knowledge: Transfer Learning With Self-Distillation For Action Recognition},
author = {Yang Zhou and Zhanhao He and Keyu Lu and Guanhong Wang and Gaoang Wang},
journal= {arXiv preprint arXiv:2205.00506},
year = {2022}
}