DIRECTOR：用于监督语言建模的生成器-分类器
计算与语言
2022-11-29 v2
摘要
当前语言模型取得了低困惑度，但其生成的文本仍存在有毒回复、重复和矛盾等问题。标准的语言建模设置未能解决这些问题。在本文中，我们引入一种新架构 {\sc Director}，它由一个统一的生成器-分类器组成，对每个输出词元同时具有语言建模头和分类头。训练使用标准语言建模数据以及标注了期望与不期望序列的数据联合进行。多种设置下的实验表明，该模型相较于标准语言模型具有有竞争力的训练和解码速度，同时产生更优结果，在保持生成质量的同时缓解了已知问题。它在准确率和效率方面也优于现有的模型引导方法。
引用
@article{arxiv.2206.07694,
title = {DIRECTOR: Generator-Classifiers For Supervised Language Modeling},
author = {Kushal Arora and Kurt Shuster and Sainbayar Sukhbaatar and Jason Weston},
journal= {arXiv preprint arXiv:2206.07694},
year = {2022}
}