“掩码与填充”：将掩码语言模型应用于情感迁移
计算与语言
2019-08-23 v1
摘要
本文聚焦于非平行文本上的情感迁移任务，即在保留句子中与属性无关内容的同时，修改其情感属性（如正面或负面）。由于基于RNN的编码器-解码器结构捕捉词语间深层长程依赖的能力有限，以往的工作很难从头生成令人满意的句子。当人类转换句子的情感属性时，一种简单而有效的方法是仅将句子中原有的情感词替换为目标情感表达，而非从头构建新句子。这一过程与文本填充或完形填空任务非常相似，后者可由深度双向掩码语言模型（如BERT）处理。因此，我们提出了一种“掩码与填充”的两步方法。在掩码步骤中，我们通过掩码情感词的位置来分离风格与内容。在填充步骤中，我们将MLM改造为属性条件MLM，通过基于上下文和目标情感预测词语或短语来填充被掩码的位置。我们在两个评论数据集上进行了定量、定性和人工评估。实验结果表明，我们的模型提升了当前最优性能。
引用
@article{arxiv.1908.08039,
title = {"Mask and Infill" : Applying Masked Language Model to Sentiment Transfer},
author = {Xing Wu and Tao Zhang and Liangjun Zang and Jizhong Han and Songlin Hu},
journal= {arXiv preprint arXiv:1908.08039},
year = {2019}
}
备注
IJCAI 2019