基于解耦克拉unk-Lehmann发散的关联感知知识蒸馏框架CAKD
机器学习
2024-10-22 v1 机器学习
摘要
知识蒸馏的主要焦点一直是转换和平衡多种蒸馏组件。本文强调要彻底检查每个蒸馏组件的重要性，因为我们注意到并非所有元素都同等重要。从这一视角出发，我们将克拉unk-Lehmann（KL）发散解耦为三个独特元素：二元分类发散（BCD）、强关联发散（SCD）和弱关联发散（WCD）。每个元素对预测都有不同的影响。基于这些见解，我们提出了关联感知知识蒸馏（CAKD）框架。CAKD旨在优先处理对预测影响最大的蒸馏组件，从而优化从教师模型到学生模型的知识传输。我们的实验表明，调整每个元素的效果有助于提高知识转换的有效性。此外，证据表明，我们的新型CAKD框架在各种模型和数据集上都持续优于基线方法。我们的工作进一步凸显了仔细检查蒸馏过程中不同部分影响的重要性和有效性。
关键词
引用
@article{arxiv.2410.14741,
title = {CAKD: A Correlation-Aware Knowledge Distillation Framework Based on Decoupling Kullback-Leibler Divergence},
author = {Zao Zhang and Huaming Chen and Pei Ning and Nan Yang and Dong Yuan},
journal= {arXiv preprint arXiv:2410.14741},
year = {2024}
}