TempLM：将语言模型蒸馏为基于模板的生成器
计算与语言
2022-05-24 v1 机器学习
摘要
尽管预训练语言模型（PLMs）极大地改进了文本生成，但众所周知它们也会产生不忠实或不恰当的内容。相比之下，经典的基于模板的系统以流畅性为代价提供了强有力的忠实性保证。我们提出了 TempLM，它通过将 PLM 蒸馏为基于模板的生成器，实现了两全其美。在 E2E 和 SynthBio 数据到文本数据集上，我们表明 TempLM 比原始 PLM 更忠实，并且比先前的模板系统更流畅。值得注意的是，在域外评估中，TempLM 将一个微调的 BART 模型的不可信率从 83% 降低到 0%。在一项人类研究中，我们发现 TempLM 的模板在 BERTScore 上显著优于人类编写的模板。
引用
@article{arxiv.2205.11055,
title = {TempLM: Distilling Language Models into Template-Based Generators},
author = {Tianyi Zhang and Mina Lee and Lisa Li and Ende Shen and Tatsunori B. Hashimoto},
journal= {arXiv preprint arXiv:2205.11055},
year = {2022}
}