学习生成任意写作风格的文本
计算与语言
2024-03-05 v2
摘要
先前关于风格控制文本生成的工作集中于诸如模仿多产文学作家的风格、生成正式或非正式文本以及减轻生成文本毒性等任务。这些风格有大量的示范样本，因此现代语言模型通常能够通过提示或判别式控制来模仿它们。然而，在写作助手等应用中，希望语言模型能够基于可能较小的写作样本，以特定作者的风格生成文本。例如，使用特定方言写作的人可能希望保留相同方言的写作建议。我们发现，经过指令微调的语言模型在复现提示中展示的特定作者风格方面可能存在困难。相反，我们提出利用对比训练得到的表示来引导语言模型生成目标风格的文本，这些表示能够捕捉风格计量特征。我们的方法（StyleMC）结合了适配作者的语言模型与序列级推理，以提高风格一致性，并被发现在多种条件下有效，包括无条件生成和风格迁移。此外，我们发现所提出的方法可作为一种有效的匿名化手段，通过编辑文档来掩盖作者身份，同时保留原始含义。
引用
@article{arxiv.2312.17242,
title = {Learning to Generate Text in Arbitrary Writing Styles},
author = {Aleem Khan and Andrew Wang and Sophia Hager and Nicholas Andrews},
journal= {arXiv preprint arXiv:2312.17242},
year = {2024}
}