LiFi：具有细粒度控制码的轻量级可控文本生成
计算与语言
2024-02-13 v1
摘要
在快速发展的文本生成领域，对更精确控制机制的需求日益明显。为了满足这一需求，我们提出了一种新颖的方法LIFI，它为可控文本生成提供了一种具有细粒度控制的轻量级方法。与以往训练预训练语言模型遵循离散、类别化和互斥控制码的研究不同，LIFI在连续、相对和非互斥控制码的指导下学习可控文本生成。这些细粒度控制码自动从一个属性分类器中导出，该分类器最初使用少量标注数据进行训练，随后用于标注大量未标注数据，从而获得更广泛的监督信号。此外，为了实现高效控制，我们将细粒度控制码与适配器（adapters）相结合，这是一种参数和计算高效的方式来引导预训练语言模型。我们在两个传统任务——情感控制和主题控制——以及一个新提出的任务——风格化小说写作上评估了LIFI。全面的实验结果验证了我们所提方法的有效性，证明了其相对于现有基线方法的显著性能提升。
引用
@article{arxiv.2402.06930,
title = {LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes},
author = {Chufan Shi and Deng Cai and Yujiu Yang},
journal= {arXiv preprint arXiv:2402.06930},
year = {2024}
}