中文

面向非平行语料作者风格化重写中的语言模型适配

计算与语言 2020-11-03 v3 机器学习

摘要

鉴于基于 Transformer 的神经模型在语言建模方面的最新进展,以及对生成风格化文本的积极关注,我们提出了一种利用语言模型的泛化能力将输入文本重写为目标作者风格的方法。我们提出的方法通过在级联编码器-解码器框架中使用去噪自编码器(DAE)损失在作者特定语料库上微调预训练语言模型,以生成作者风格化文本。对 DAE 损失的优化使我们的模型能够学习作者风格的细微差别,而无需依赖平行数据,这一直是该领域以往相关工作的严重局限。为评估我们方法的有效性,我们提出了一种受语言学驱动的框架,从词汇、句法和表层层面量化生成文本与目标作者的风格对齐程度。该评估框架既可解释——因为它能带来关于模型的若干洞见,又自包含——因为它不依赖外部分类器(例如情感或正式度分类器)。定性和定量评估表明,与最先进的基线相比,所提方法在更好地保持原始内容的同时,将输入文本重写得与目标风格对齐得更好。

关键词

引用

@article{arxiv.1909.09962,
  title  = {Adapting Language Models for Non-Parallel Author-Stylized Rewriting},
  author = {Bakhtiyar Syed and Gaurav Verma and Balaji Vasan Srinivasan and Anandhavelu Natarajan and Vasudeva Varma},
  journal= {arXiv preprint arXiv:1909.09962},
  year   = {2020}
}

备注

Accepted for publication in Main Technical Track at AAAI 20