iCD：一种用于结构信息挖掘的隐式聚类蒸馏方法
机器学习
2025-09-17 v1 计算机视觉与模式识别
摘要
Logit 知识蒸馏因其简单且无需中间特征对齐，近年来引起了广泛的研究兴趣；然而，其决策过程缺乏可解释性。为了解决这个问题，我们提出了隐式聚类蒸馏：一种简单有效的方法，能够从 logit 中挖掘并迁移可解释的结构知识，而无需真实标签或特征空间对齐。iCD 利用解耦的局部 logit 表示上的 Gram 矩阵，使学生模型能够学习潜在的语义结构模式。在基准数据集上的大量实验证明了 iCD 在多种师生架构中的有效性，在细粒度分类任务中表现尤为出色——比基线实现了 +5.08% 的峰值提升。代码获取地址：https://github.com/maomaochongaa/iCD。
引用
@article{arxiv.2509.12553,
title = {iCD: A Implicit Clustering Distillation Mathod for Structural Information Mining},
author = {Xiang Xue and Yatu Ji and Qing-dao-er-ji Ren and Bao Shi and Min Lu and Nier Wu and Xufei Zhuang and Haiteng Xu and Gan-qi-qi-ge Cha},
journal= {arXiv preprint arXiv:2509.12553},
year = {2025}
}