CoCon：一种用于可控文本生成的自我监督方法
计算与语言
2022-06-13 v3 机器学习
神经与进化计算
摘要
基于预训练Transformer的语言模型（LM）展现出卓越的自然语言生成能力。凭借其巨大潜力，对此类LM的文本生成进行控制正受到关注。尽管已有研究试图控制生成文本的高层属性（如情感和主题），但在词和短语层面对其内容更精细的控制仍然缺乏。在此，我们提出内容条件器（Content-Conditioner, CoCon），以细粒度级别用内容输入控制LM的输出文本。在我们的自我监督方法中，CoCon模块通过学习以从LM中保留的内容输入为条件，帮助LM完成部分观测的文本序列。通过实验，我们表明CoCon能够自然地将目标内容融入生成文本中，并以零样本方式控制高层文本属性。
引用
@article{arxiv.2006.03535,
title = {CoCon: A Self-Supervised Approach for Controlled Text Generation},
author = {Alvin Chan and Yew-Soon Ong and Bill Pung and Aston Zhang and Jie Fu},
journal= {arXiv preprint arXiv:2006.03535},
year = {2022}
}
备注
ICLR 2021 Camera-Ready