LEWIS:用于无监督文本风格迁移的Levenshtein编辑方法
计算与语言
2021-05-19 v1
摘要
许多类型的文本风格迁移仅需微小而精确的编辑即可实现(例如将情感从“我度过了一段糟糕的时光……”迁移到“我度过了一段美好的时光……”)。我们提出了一种用于风格迁移的由粗到细的编辑器,利用Levenshtein编辑操作(如插入、替换、删除)对文本进行转换。与以往的单跨度编辑方法不同,我们的方法同时编辑源文本中的多个跨度。为了在无需平行风格文本对(如正/负情感陈述对)的情况下进行训练,我们提出了一种无监督数据合成流程。我们首先利用风格分类器的注意力将文本转换为风格无关的模板(例如“我度过了一段SLOT时光……”),然后使用微调过的预训练语言模型填充这些模板中的槽位。我们的方法在情感(Yelp、Amazon)和礼貌(Polite)迁移任务上优于现有的生成式和编辑式风格迁移方法。特别地,多跨度编辑比单跨度编辑取得了更高的性能和更多样的输出。此外,与先前无监督数据合成的方法相比,我们的方法生成了更高质量的平行风格对并提升了模型性能。
引用
@article{arxiv.2105.08206,
title = {LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer},
author = {Machel Reid and Victor Zhong},
journal= {arXiv preprint arXiv:2105.08206},
year = {2021}
}
备注
ACL-IJCNLP 2021 (Findings)