简单知识蒸馏设置下平衡参数动态控制的重要性分析
机器学习
2025-05-13 v1 人工智能
摘要
虽然深度学习模型因其深层复杂结构而取得了显著成功，但这种复杂性通常以牺牲实时性能为代价。为此，提出了各种模型压缩技术，其中知识蒸馏（knowledge distillation, KD）因其强大的经验性能而居于首位。KD 包含两个并行过程：（i）匹配大型预训练教师网络和轻量级学生网络的输出，（ii）训练学生解决其指定下游任务。相关的损失函数分别称为蒸馏损失和下游任务损失。大量先前研究报告 KD 最有效的做法是使蒸馏损失的影响大于下游任务损失的影响。这种影响（或重要性）通常由平衡参数调节。本文提供一种数学依据，表明在简单 KD 设置下当损失函数下降时，平衡参数应进行动态调整。
引用
@article{arxiv.2505.06270,
title = {Importance Analysis for Dynamic Control of Balancing Parameter in a Simple Knowledge Distillation Setting},
author = {Seongmin Kim and Kwanho Kim and Minseung Kim and Kanghyun Jo},
journal= {arXiv preprint arXiv:2505.06270},
year = {2025}
}
备注
3 pages, 2 figures, conference preprint for IWIS2025