教育蒸馏：让学生模型在学校中学习
人工智能
2025-03-25 v3
摘要
本文介绍了一种称为教育蒸馏（ED）的新知识蒸馏方法，其灵感来自人类学习的结构化和渐进性本质。ED 模仿小学、中学和大学的教育阶段，并设计教学参考块。学生模型被拆分为主体与多个教学参考块，以逐步向教师学习。这促进了高效的知识蒸馏，同时保持了学生模型的架构。在 CIFAR100、Tiny Imagenet、Caltech 和 Food-101 数据集上的实验结果表明，教学参考块能有效避免遗忘问题。与常规的单教师和多教师知识蒸馏方法相比，ED 显著提升了学生模型的准确率和泛化能力。这些发现凸显了 ED 在不同架构和数据集上提升模型性能的潜力，表明其在各种深度学习场景中的价值。代码示例可在 https://github.com/Revolutioner1/ED.git 获取。
引用
@article{arxiv.2311.13811,
title = {Education distillation:getting student models to learn in shcools},
author = {Ling Feng and Tianhao Wu and Xiangrong Ren and Zhi Jing and Xuliang Duan},
journal= {arXiv preprint arXiv:2311.13811},
year = {2025}
}