用于动作识别的基于生成模型的特征知识蒸馏
计算机视觉与模式识别
2023-12-15 v1
摘要
知识蒸馏（KD）是计算机视觉中广泛应用的一种技术，已成为提升小型神经网络性能的事实标准。然而，视频任务中现有的基于 KD 的方法主要侧重于设计损失函数和融合跨模态信息。这忽略了时空特征语义，导致模型压缩方面的进展有限。针对这一空白，本文引入了一种创新的知识蒸馏框架，利用生成模型来训练轻量级学生模型。具体而言，该框架分为两个步骤：第一阶段为特征表示，其中训练一个基于生成模型的注意力模块来表示特征语义；随后，基于生成的特征蒸馏阶段包含生成蒸馏和注意力蒸馏，旨在利用生成模型迁移基于注意力的特征语义。通过在多个流行数据集上的全面实验证明了我们方法的有效性，表明在视频动作识别任务中取得了显著提升。此外，我们提出的框架在更复杂的视频动作检测任务中也得到了验证。代码可在 https://github.com/aaai-24/Generative-based-KD 获取。
引用
@article{arxiv.2312.08644,
title = {Generative Model-based Feature Knowledge Distillation for Action Recognition},
author = {Guiqin Wang and Peng Zhao and Yanjiang Shi and Cong Zhao and Shusen Yang},
journal= {arXiv preprint arXiv:2312.08644},
year = {2023}
}
备注
Accepted on AAAI2024