XL-Editor：基于 XLNet 的句子后期编辑
计算与语言
2019-10-24 v1 机器学习
机器学习
摘要
尽管神经序列生成模型在许多自然语言处理应用中取得了初步成功，但采用从左到右生成顺序（即自回归）的一次性标准解码过程，无法反映人类通过修改句子以获得精炼结果的真实本质。在这项工作中，我们提出了 XL-Editor，一种新颖的训练框架，它使最先进的广义自回归预训练方法（具体而言为 XLNet）能够通过变长插入概率来修订给定句子。具体而言，XL-Editor 可以（1）估计将变长序列插入到给定句子特定位置的概率；（2）基于估计的变长插入概率执行插入、删除和替换等后期编辑操作；（3）补充现有的序列到序列模型以精炼生成的序列。在经验上，我们首先在文本插入和删除任务上展示了 XL-Editor 相对于 XLNet 更好的后期编辑能力，这验证了我们提出框架的有效性。此外，我们将 XL-Editor 扩展到无配对文本风格迁移任务，其中将目标风格迁移到给定句子上可自然视为将该句子后期编辑为目标风格。XL-Editor 在风格迁移准确率上取得显著提升，同时保持原句子的语义连贯，显示了我们方法的广泛适用性。
引用
@article{arxiv.1910.10479,
title = {XL-Editor: Post-editing Sentences with XLNet},
author = {Yong-Siang Shih and Wei-Cheng Chang and Yiming Yang},
journal= {arXiv preprint arXiv:1910.10479},
year = {2019}
}
备注
Under review