面向跨语言生成式摘要的多任务学习
计算与语言
2020-10-16 v1
摘要
我们提出了一种用于跨语言生成式摘要的多任务学习框架，以扩充训练数据。近期研究构建了伪跨语言生成式摘要数据来训练其神经编码器-解码器。同时，我们将现有的真实数据（如翻译句对与单语生成式摘要数据）引入训练。我们提出的方法 Transum 在输入句子开头附加一个特殊标记以指示目标任务。该特殊标记使我们能够轻松地将真实数据并入训练数据中。实验结果表明，Transum 比仅使用伪跨语言摘要数据训练的模型表现更优。此外，我们在中-英和阿-英生成式摘要上取得了最高的 ROUGE 分数。而且，Transum 对机器翻译也有积极作用。实验结果表明，在汉英、阿英和英日翻译数据集上，Transum 相较强基线 Transformer 提升了性能。
引用
@article{arxiv.2010.07503,
title = {Multi-Task Learning for Cross-Lingual Abstractive Summarization},
author = {Sho Takase and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2010.07503},
year = {2020}
}