DExperts:基于专家与反专家的解码时受控文本生成
计算与语言
2021-06-04 v2
摘要
尽管自然语言生成近期取得进展,控制生成文本的属性仍具挑战。我们提出 DExperts:Decoding-time Experts,一种用于受控文本生成的解码时方法,其在专家乘积中结合预训练语言模型与“专家”LM 和/或“反专家”LM。直观上,在该集成下,仅当词元被专家视为可能、且被反专家视为不可能时,才会获得高概率。我们将 DExperts 应用于语言去毒化和情感受控生成,在自动与人工评估上均优于现有可控生成方法。此外,由于 DExperts 仅作用于预训练 LM 的输出,其在使用较小尺寸的(反)专家时也有效,包括作用于 GPT-3 时。我们的工作凸显了在具有(不)期望属性的文本上微调小 LM 以实现高效解码时引导的潜力。
引用
@article{arxiv.2105.03023,
title = {DExperts: Decoding-Time Controlled Text Generation with Experts and Anti-Experts},
author = {Alisa Liu and Maarten Sap and Ximing Lu and Swabha Swayamdipta and Chandra Bhagavatula and Noah A. Smith and Yejin Choi},
journal= {arXiv preprint arXiv:2105.03023},
year = {2021}
}
备注
ACL 2021 camera-ready