PREADD：用于可控文本生成的前缀自适应解码
计算与语言
2023-07-10 v1
摘要
我们提出 Prefix-Adaptive Decoding（PREADD），一种用于可控文本生成的灵活方法。与现有使用辅助专家模型控制属性的方法不同，PREADD 不需要外部模型，而是依赖多个提示输出 logits 的线性组合。具体而言，PREADD 将使用原始提示生成的输出 logits 与使用前缀前置提示生成的输出 logits 进行对比，从而实现对前缀所封装任意属性的正向与负向控制。我们在三个任务上评估 PREADD——毒性输出缓解、性别偏见削减和情感控制——发现 PREADD 在每个任务的主要指标上不仅优于提示基线，也优于一种辅助专家控制方法，相对提升达 12% 或更多。
引用
@article{arxiv.2307.03214,
title = {PREADD: Prefix-Adaptive Decoding for Controlled Text Generation},
author = {Jonathan Pei and Kevin Yang and Dan Klein},
journal= {arXiv preprint arXiv:2307.03214},
year = {2023}
}
备注
ACL Findings 2023