树形辅助在线知识蒸馏
网络与互联网体系结构
2022-08-23 v1
摘要
传统知识蒸馏采用两阶段训练过程：先预训练教师模型，再将知识迁移至紧凑的学生模型。为克服该局限，提出了在线知识蒸馏，在教师模型不可用时执行单阶段蒸馏。近期在线知识蒸馏研究主要关注蒸馏目标的设计，包括注意力或门控机制。与之不同，本文关注全局架构设计，提出树形辅助在线知识蒸馏（TSA），其分层地为靠近输出的层增加更多并行同伴，以强化知识蒸馏效果。不同分支构造输入的不同视图，可作为知识来源。分层结构意味着知识随层数加深而从通用向任务特定迁移。在 3 个计算机视觉与 4 个自然语言处理数据集上的大量实验表明，我们的方法无需额外技巧即达到 SOTA 性能。据我们所知，我们首次证明了在线知识蒸馏在机器翻译任务上的有效性。
引用
@article{arxiv.2208.10068,
title = {Tree-structured Auxiliary Online Knowledge Distillation},
author = {Wenye Lin and Yangning Li and Yifeng Ding and Hai-Tao Zheng},
journal= {arXiv preprint arXiv:2208.10068},
year = {2022}
}
备注
Accepted by IJCNN2022