探索基于图的知识：通过通道关系图进行多级特征蒸馏
计算机视觉与模式识别
2024-05-17 v2
摘要
在视觉任务中，大型教师模型捕获本质特征和深层信息，从而提升性能。然而，由于结构差异和容量限制，将这些信息蒸馏到较小的学生模型中通常会导致性能损失。为了解决这个问题，我们提出了一个基于图知识的蒸馏框架，包括多级特征对齐策略和注意力引导机制，为学生模型提供有针对性的学习轨迹。我们强调谱嵌入（SE）是我们蒸馏过程中的关键技术，它将学生的特征空间与类似于教师网络的关系知识和结构复杂性相融合。该方法以基于图的表示捕获教师的理解，使学生模型能够更准确地模仿教师模型中存在的复杂结构依赖。与仅关注特定蒸馏区域的方法相比，我们的策略不仅考虑了教师模型内的关键特征，还致力于捕获特征集之间的关系和交互，将这些复杂信息编码到图结构中，从全局视角理解和利用这些信息之间的动态关系。实验表明，我们的方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上优于以往的特征蒸馏方法，证明了其效率和适用性。
引用
@article{arxiv.2405.08547,
title = {Exploring Graph-based Knowledge: Multi-Level Feature Distillation via Channels Relational Graph},
author = {Zhiwei Wang and Jun Huang and Longhua Ma and Chengyu Wu and Hongyu Ma},
journal= {arXiv preprint arXiv:2405.08547},
year = {2024}
}