基于填充掩码语言模型的无监督文本风格迁移
计算与语言
2020-10-05 v1
摘要
我们提出 Masker，一种用于风格迁移的无监督文本编辑方法。为应对无并行源-目标文本对可用的情况，我们为源域与目标域分别训练掩码语言模型（MLMs）。随后我们寻找两个模型在似然上分歧最大的文本跨度。这使我们能够识别需删除的源令牌，以将源文本转换为匹配目标域风格。被删除的令牌由目标 MLM 替换，并且通过使用填充式 MLM 变体，我们避免了预先确定插入令牌数量的问题。我们在句子融合与情感迁移上的实验表明，Masker 在完全无监督设定下具有竞争力。此外，在低资源设定中，当其生成的银训练数据用于预训练监督方法时，可将监督方法的准确率提升超过 10 个百分点。
引用
@article{arxiv.2010.01054,
title = {Unsupervised Text Style Transfer with Padded Masked Language Models},
author = {Eric Malmi and Aliaksei Severyn and Sascha Rothe},
journal= {arXiv preprint arXiv:2010.01054},
year = {2020}
}
备注
EMNLP 2020