基于扩散语言模型的细粒度文本风格迁移
计算与语言
2023-06-13 v2 人工智能
机器学习
摘要
扩散概率模型在可控生成高质量图像方面已取得巨大成功，研究者已尝试将这种可控性引入文本生成领域。先前基于扩散的语言模型工作表明，它们无需外部知识（如预训练权重）即可训练，并仍能获得稳定性能与可控性。本文中，我们在 StylePTB 数据集（细粒度文本风格迁移的标准基准）上训练了一个基于扩散的模型。StylePTB 中的任务相较先前工作所评估的任务需要对输出文本进行精细得多的控制，而我们的模型在 StylePTB 的个体与组合迁移上均达到了最先进性能。此外，我们的模型仅使用 StylePTB 的有限数据且无需外部知识进行训练，却优于那些利用了预训练权重、嵌入和外部语法分析器的先前工作，这可能表明基于扩散的语言模型在低资源场景下具有巨大潜力。
引用
@article{arxiv.2305.19512,
title = {Fine-grained Text Style Transfer with Diffusion-Based Language Models},
author = {Yiwei Lyu and Tiange Luo and Jiacheng Shi and Todd C. Hollon and Honglak Lee},
journal= {arXiv preprint arXiv:2305.19512},
year = {2023}
}
备注
Accepted at Repl4NLP workshop at ACL 2023