基于对比前缀的可控自然语言生成
计算与语言
2022-03-01 v1
摘要
为引导大型预训练语言模型(LM)的生成，先前工作集中于直接微调语言模型或利用属性判别器。本文提出一种用于可控GPT2生成的新型轻量级框架，其利用一组称为前缀的小型属性特定向量来引导自然语言生成。与每个前缀独立训练的前缀微调(prefix-tuning)不同，我们考虑前缀间的关系并同时训练多个前缀。我们提出一种新颖的监督方法和一种无监督方法来训练用于单属性控制的前缀，而这两种方法的结合可实现多属性控制。在单属性和多属性控制上的实验结果表明，我们的方法能在保持高语言质量的同时引导生成朝向期望属性。
引用
@article{arxiv.2202.13257,
title = {Controllable Natural Language Generation with Contrastive Prefixes},
author = {Jing Qian and Li Dong and Yelong Shen and Furu Wei and Weizhu Chen},
journal= {arXiv preprint arXiv:2202.13257},
year = {2022}
}