编码器-解码器语言模型的任务无关蒸馏
计算与语言
2023-05-23 v1
摘要
微调预训练语言模型(LM)已在多样化任务上取得引人注目的性能。其引人入胜的任务无关特性促使研究焦点从任务特定蒸馏转向任务无关蒸馏。尽管任务无关、计算高效且保性能的 LM 可通过任务无关蒸馏获得，已有研究主要集中于仅编码器 LM（如 BERT）或仅解码器 LM（如 GPT）的蒸馏，却很大程度上忽视了编码器-解码器 LM（如 T5）的蒸馏会呈现极为不同的行为。令人困扰的是，我们发现现有任务无关蒸馏方法无法处理编码器-解码器 LM 的蒸馏。为此需求，我们探索若干路径并揭示出一条名为 MiniEnD 的路径，成功以任务无关方式解决编码器-解码器 LM 的蒸馏。我们在语言理解与抽象式摘要上检验 MiniEnD。结果显示 MiniEnD 总体有效，且相较其他方案具竞争力。我们进一步将 MiniEnD 扩展至 3B 编码器-解码器语言模型的插值蒸馏。结果暗示了蒸馏大语言模型（如 LLaMA）的机遇与挑战。
引用
@article{arxiv.2305.12330,
title = {Task-agnostic Distillation of Encoder-Decoder Language Models},
author = {Chen Zhang and Yang Yang and Jingang Wang and Dawei Song},
journal= {arXiv preprint arXiv:2305.12330},
year = {2023}
}
备注
11 pages, 4 figure, 5 tables, work in progress. Code will be released