将可控文本生成作为带多重约束的连续优化
计算与语言
2021-08-05 v1
摘要
随着大规模语言模型预训练推动文本生成达到最先进水平，近期研究转向控制此类模型所生成文本的属性。尽管通过微调修改预训练模型仍是主流方法，但其计算成本高昂，且可能因缺乏合适数据而不可行。作为替代，我们提出 MuCoCO——一种用于从预训练模型进行可控推理的灵活且模块化的算法。我们将解码过程表述为一个优化问题，使得我们旨在控制的多个属性可以轻松地作为可微约束纳入优化中。通过将这一离散优化松弛为连续优化，我们利用拉格朗日乘子和基于梯度下降的技术来生成所需文本。我们在可控机器翻译和具有多个句子级属性的风格迁移上评估了我们的方法，并观察到相对于基线的显著改进。
引用
@article{arxiv.2108.01850,
title = {Controlled Text Generation as Continuous Optimization with Multiple Constraints},
author = {Sachin Kumar and Eric Malmi and Aliaksei Severyn and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2108.01850},
year = {2021}
}