参数的重要性：一种带来显著提升的内部蒸馏方法
计算与语言
2022-10-25 v2
摘要
近期的模型剪枝方法已展示出在不牺牲模型性能的前提下移除冗余参数的能力。常见方法依据参数敏感度（一种反映参数贡献的基于梯度的度量）来移除冗余参数。然而在本文中，我们认为冗余参数可被训练以作出有益贡献。我们首先强调高敏感度与低敏感度参数间存在的巨大敏感度（贡献）差距，并表明在平衡所有参数的贡献后，模型泛化性能可显著提升。我们的目标是平衡所有参数的敏感度并促使它们均等贡献。我们提出一种通用的任务无关方法，即内部蒸馏（intra-distillation），将其附加于常规训练损失以平衡参数敏感度。此外，我们还设计了一种新颖的自适应学习方法，以控制内部蒸馏损失的强度从而实现更快收敛。我们的实验显示了该方法在机器翻译、自然语言理解以及跨至多 48 种语言的零样本跨语言迁移上的强劲有效性，例如，在 IWSLT'14 翻译数据集的 8 个语言对上平均获得 3.54 BLEU 的提升。
引用
@article{arxiv.2205.11416,
title = {The Importance of Being Parameters: An Intra-Distillation Method for Serious Gains},
author = {Haoran Xu and Philipp Koehn and Kenton Murray},
journal= {arXiv preprint arXiv:2205.11416},
year = {2022}
}
备注
Accepted at EMNLP 2022