来自不同领域的持续教师蒸馏
机器学习
2026-05-07 v1 计算机视觉与模式识别
摘要
深度学习模型持续增大，其中一些模型的存储需求超过许多大规模数据集的存储能力。因此，我们提出一种新范式：持续蒸馏（CD），其中学生依次从一系列教师模型学习，而无需保留访问早期教师的权限。CD 面临两个挑战：教师训练数据不可得，教师具有不同的专业知识。我们表明，外部无标签数据可实现未见知识转移（UKT），允许学生从训练数据中未出现的领域获取信息，而该领域已知于教师。我们也表明，顺序蒸馏在 transferred knowledge 丢失后导致未见知识遗忘（UKF）。为更好地在 UKT 与 UKF 之间进行权衡，我们提出自我外部数据蒸馏（SE2D）方法，通过保留外部数据上的 logits 来稳定跨异构教师的学习。在多个基准测试上的实验表明，SE2D 减少了 UKF 并改善了跨域泛化。该工作的代码和实现已公开于：https://github.com/Nicolas1203/continual_distillation。
引用
@article{arxiv.2605.04059,
title = {Continual Distillation of Teachers from Different Domains},
author = {Nicolas Michel and Maorong Wang and Jiangpeng He and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2605.04059},
year = {2026}
}
备注
Accepted to CVPR 2026