基于中心核对齐的 BERT 迁移中特征结构蒸馏

知识蒸馏是一种通过减小师生模型表示之间的差异，将表示信息从教师模型迁移到学生模型的方法。该方法的一个挑战是降低学生模型表示的灵活性，从而导致对教师知识的学习不准确。为在迁移中解决此问题，我们研究了针对三类表示结构的蒸馏：特征内结构、局部特征间结构、全局特征间结构。为迁移这些结构，我们引入了基于中心核对齐（Centered Kernel Alignment）的特征结构蒸馏方法，该方法对相似的特征结构赋予一致的值并揭示更具信息量的关系。特别地，针对全局结构实现了一种带聚类的记忆增强迁移方法。所提方法在 GLUE 数据集上用于语言理解的九个任务上，使用代表性神经语言模型 Bidirectional Encoder Representations from Transformers (BERT) 进行了实证分析。结果表明，所提方法有效迁移了三类结构，并且相较于最先进的蒸馏方法提升了性能。相关代码已发布于 https://github.com/maroo-sky/FSD。