异构架构的多层解耦关系蒸馏
计算机视觉与模式识别
2025-02-11 v1
摘要
异构蒸馏是一种有效将来自跨架构教师模型的知识传递给学生模型的方法。然而，现有的异构蒸馏方法并未充分利用教师模型输出中隐藏的深层知识，限制了其性能。为此，我们提出一种名为多层解耦关系知识蒸馏（MLDR-KD）的新型框架，以释放关系蒸馏在异构蒸馏中的潜能。具体而言，我们在 logit 和特征级别引入解耦细粒度关系对齐（DFRA），以平衡教师模型中提取的深层知识与正确类别置信度之间的权衡。然后应用多尺度动态融合（MSDF）模块，用于动态融合学生模型不同阶段多尺度特征的投影 logits，进一步提高方法在特征级别的性能。我们在四种架构（CNN、Transformer、MLP 和 Mamba）上进行验证，分别使用 CIFAR-100 和 Tiny-ImageNet 数据集。与最佳现有方法相比，MLDR-KD 在 CIFAR-100 数据集上提升学生模型性能最高可达 4.86%，在 Tiny-ImageNet 数据集上提升最高可达 2.78%，显示出在异构蒸馏中的鲁棒性和通用性。代码将很快公开。
引用
@article{arxiv.2502.06189,
title = {Multi-Level Decoupled Relational Distillation for Heterogeneous Architectures},
author = {Yaoxin Yang and Peng Ye and Weihao Lin and Kangcong Li and Yan Wen and Jia Hao and Tao Chen},
journal= {arXiv preprint arXiv:2502.06189},
year = {2025}
}