NAST：一种用于无监督文本风格迁移的带词对齐非自回归生成器
计算与语言
2021-06-07 v1
摘要
自回归模型已被广泛用于无监督文本风格迁移。尽管取得成功，这些模型仍受内容保留问题困扰：它们通常忽略源句子的部分内容，并生成一些具有强烈风格但不相关的词。本文提出一种用于无监督文本风格迁移的非自回归生成器（NAST），从两方面缓解该问题。首先，我们观察到迁移句子中大多数词可与源句子中相关词对齐，因此显式建模词对齐以抑制不相关词。其次，现有用循环损失训练的模型对齐两个风格文本空间中的句子，缺乏词级别的细粒度控制。所提出的非自回归生成器关注对齐词之间的联系，学习风格间的词级迁移。实验中，我们将该生成器集成到两个基模型中，并在两个风格迁移任务上评估。结果表明 NAST 能显著提升整体性能并提供可解释的词对齐。此外，非自回归生成器在推理时实现超过 10 倍加速。我们的代码见 https://github.com/thu-coai/NAST。
引用
@article{arxiv.2106.02210,
title = {NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer},
author = {Fei Huang and Zikai Chen and Chen Henry Wu and Qihan Guo and Xiaoyan Zhu and Minlie Huang},
journal= {arXiv preprint arXiv:2106.02210},
year = {2021}
}
备注
Accepted by ACL 2021: Findings (long paper)