深入语义关系蒸馏
计算机视觉与模式识别
2025-03-28 v1
摘要
知识蒸馏已成为深度学习中的核心技术，促进了从复杂模型向轻量级模型知识的传递。传统的蒸馏方法侧重于在实例级别上传递知识，但无法捕捉数据中细微的语义关系。为此，本文提出了一种新方法，即基于语义关系的知识蒸馏 (Semantics-based Relation Knowledge Distillation, SeRKD)，它通过每个样本间的语义-关系视角来重新构想知识蒸馏。通过利用语义组件，即 superpixel，SeRKD 实现了更全面和上下文感知的知识传递，将 superpixel 基于的语义提取与基于关系的知识蒸馏有效集成，以实现复杂的模型压缩和蒸馏。特别地，所提出的方法在视觉 Transformer (ViTs) 领域自然相关，因为视觉 token 是表示的基本单元。在基准数据集上的实验评估表明，SeRKD 在现有方法之上占据优势，凸显了其在增强模型性能和泛化能力方面的有效性。
引用
@article{arxiv.2503.21269,
title = {Delving Deep into Semantic Relation Distillation},
author = {Zhaoyi Yan and Kangjun Liu and Qixiang Ye},
journal= {arXiv preprint arXiv:2503.21269},
year = {2025}
}