视频分类中的分阶段知识蒸馏：以互补弱监督框架协调学生进展
计算机视觉与模式识别
2023-07-18 v3
摘要
在视频数据标签高效学习的背景下，蒸馏方法以及师生架构的结构设计对知识蒸馏有显著影响。然而，先前研究忽视了这些因素间的关系。为弥补这一不足，我们提出了一种用于视频分类知识蒸馏的新弱监督学习框架，旨在提升学生模型的效率与精度。我们的方法利用基于子阶段学习的概念，依据学生子阶段组合及相应子阶段的相关性来蒸馏知识。我们还采用渐进级联训练方法，以解决因师生容量差距过大引起的精度损失。此外，我们提出伪标签优化策略以改善初始数据标签。为优化训练过程中不同蒸馏子阶段的损失函数，我们引入了一种基于特征分布的新损失方法。我们在真实与仿真数据集上进行了大量实验，表明所提方法在视频分类任务的知识蒸馏方面优于现有蒸馏方法。我们提出的基于子阶段的蒸馏方法有望为未来视频数据标签高效学习的研究提供启示。
引用
@article{arxiv.2307.05201,
title = {The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework},
author = {Chao Wang and Zheng Tang},
journal= {arXiv preprint arXiv:2307.05201},
year = {2023}
}