BERT 学会教学：基于元学习的知识蒸馏
机器学习
2022-04-05 v3 人工智能
计算与语言
计算机视觉与模式识别
摘要
我们提出基于元学习的知识蒸馏（MetaDistil），一种简单而有效的传统知识蒸馏（KD）方法替代方案，其中教师模型在训练中保持固定。我们表明，在元学习框架中，借助蒸馏学生模型性能的反馈，教师网络可学会更好地向学生网络迁移知识（即学会教学）。此外，我们引入引导更新机制，以改进聚焦于改进内学习器的元学习算法中内学习器与元学习器之间的对齐。在多个基准上的实验表明，相比传统 KD 算法，MetaDistil 可带来显著提升，且对不同的学生容量与超参数选择较不敏感，从而便利 KD 在不同任务与模型上的使用。
引用
@article{arxiv.2106.04570,
title = {BERT Learns to Teach: Knowledge Distillation with Meta Learning},
author = {Wangchunshu Zhou and Canwen Xu and Julian McAuley},
journal= {arXiv preprint arXiv:2106.04570},
year = {2022}
}
备注
ACL 2022 (main conference)