正确时机学习：通过生物仿生间隔效应在知识蒸馏中促进泛化
机器学习
2025-05-20 v2 人工智能
摘要
知识蒸馏（KD）是训练深度神经网络（DNN）的强大策略。虽然最初提出用于从大型“教师”模型训练出更紧凑的“学生”模型，但近期许多研究致力于适应其以促进模型自身泛化性，如在线 KD 和自 KD。我们提出一种易于实现且与现有方法兼容的策略，称为 Spaced KD，以提高在线 KD 和自 KD 中的效果，其中学生模型从训练有空间间隔的教师模型蒸馏知识。该策略受生物学习和记忆中间隔效应（spacing effect）理论的启发，认为适当的学习试验之间的间隔可显著提高学习效果。通过理论和实证分析，我们展示了 Spaced KD 的优势源于在随机梯度下降（SGD）期间收敛到更平坦的损失景观。我们进行了大量实验，以验证 Spaced KD 在提高 DNN 学习性能方面的有效性（例如，在 Tiny-ImageNet 上，相对于在线 KD 和自 KD，性能提升分别最高可达 2.31% 和 3.34%）。我们的代码已在 GitHub 上发布 https://github.com/SunGL001/Spaced-KD。
引用
@article{arxiv.2502.06192,
title = {Right Time to Learn:Promoting Generalization via Bio-inspired Spacing Effect in Knowledge Distillation},
author = {Guanglong Sun and Hongwei Yan and Liyuan Wang and Qian Li and Bo Lei and Yi Zhong},
journal= {arXiv preprint arXiv:2502.06192},
year = {2025}
}