分类器是更优的可控文本生成专家
计算与语言
2022-11-14 v3 机器学习
摘要
本文提出一种基于自由形式分类器对 logits 进行加权以实现可控文本生成的简单方法，即 CAIF 采样。利用任意文本分类器，我们调整语言模型 logits 的一小部分，并将文本生成引导向或远离分类器预测。我们在毒性规避与情感控制任务上进行了实验，结果表明所提方法在基于生成文本外部分类器的 PPL 与任务准确率指标上显著优于近期的 PPLM、GeDi 和 DExperts。此外，与其他方法相比，它更易于实现与调参，且限制与要求显著更少。
引用
@article{arxiv.2205.07276,
title = {Classifiers are Better Experts for Controllable Text Generation},
author = {Askhat Sitdikov and Nikita Balagansky and Daniil Gavrilov and Alexander Markov},
journal= {arXiv preprint arXiv:2205.07276},
year = {2022}
}