BOLT：基于能量的快速可控文本生成与可调偏置
计算与语言
2023-05-23 v1
摘要
基于能量的模型(EBMs)因对广泛约束的高度适用性而在可控文本生成中广受欢迎。然而，从 EBMs 中采样并非易事，因为它通常需要大量迭代才能收敛到合理文本，这减慢了解码过程并使其在现实应用中不太实用。在这项工作中，我们提出 BOLT，它依赖可调偏置直接调整语言模型的输出 logits。与先前工作不同，BOLT 保持生成器的自回归特性以加强对逐词条件依赖和整体流畅性的控制，从而更快收敛。在使用软约束（如情感控制）和硬约束（如关键词引导的主题控制）的可控生成任务上与最先进方法比较时，BOLT 展现出显著改进的效率与流畅性。在情感控制上，BOLT 比竞争基线快 7 倍，且根据人类评判在 74.4% 的评估样本中更流畅。
引用
@article{arxiv.2305.12018,
title = {BOLT: Fast Energy-based Controlled Text Generation with Tunable Biases},
author = {Xin Liu and Muhammad Khalifa and Lu Wang},
journal= {arXiv preprint arXiv:2305.12018},
year = {2023}
}
备注
Accepted by ACL 2023