通过最小化条件互信息实现不可蒸馏模型
机器学习
2025-07-02 v1 人工智能
摘要
若深度神经网络（DNN）作为黑盒输入输出教师，无法通过知识蒸馏（KD）进行蒸馏，即该模型不可蒸馏。此时，所提炼出的学生（称为“劫偷学生”）就不会在预测准确率方面优于独立训练并采用标签平滑（LS 学生）的学生。为了保护 DNN 的知识产权，希望构建不可蒸馏的 DNN。为此，首先观察到，不可蒸馏的 DNN 可能具有以下特征：其对所有具有相同标签的样本实例所产生的输出概率分布聚类应高度集中，以至于每个标签对应的聚类理想情况下应坍缩为单一概率分布。基于此观察，并通过条件互信息（CMI）衡量每个聚类的集中程度，提出一种新的训练方法，即 CMI 最小化（CMIM）方法，该方法通过联合最小化常规交叉熵（CE）损失和整个温度谱上所有温度缩放聚类的 CMI 值来训练 DNN。实验表明，所得 CMIM 模型通过广泛实验验证为不可蒸馏，即所有已文献中测试的 KD 方法所提炼出的劫偷学生均不优于相应的 LS 学生。此外，CMIM 模型还在自身预测准确率方面优于仅用 CE 损失训练的模型。
引用
@article{arxiv.2507.00012,
title = {Towards Undistillable Models by Minimizing Conditional Mutual Information},
author = {Linfeng Ye and Shayan Mohajer Hamidi and En-hui Yang},
journal= {arXiv preprint arXiv:2507.00012},
year = {2025}
}
备注
27 pages, 6 figures, Transactions on Machine Learning Research