利用领域迁移与数据合成的低资源数据抽象式摘要
计算与语言
2020-02-11 v1 机器学习
摘要
训练抽象式摘要模型通常需要大量数据，这对许多领域而言是一种限制。在本文中，我们探索使用领域迁移和数据合成来改进近期抽象式摘要方法在小型学生反思语料库上的表现。首先，我们探究了微调在新闻数据上训练的最先进模型是否能提升在学生反思数据上的性能。评估表明，经微调的模型所产生的摘要相比仅在学生反思数据或仅在新闻数据上训练的模型取得了更高的 ROUGE 分数。该微调模型还取得了比抽取式摘要基线更高的分数，并且在人工评估中被判定为生成了更连贯、更易读的摘要。其次，我们探究了合成学生数据的摘要是否能进一步提升性能。我们提出了一种基于模板的模型来合成新数据，将其纳入训练后进一步提高了 ROUGE 分数。最后，我们表明，将数据合成与领域迁移相结合相比仅使用两种方法之一取得了更高的 ROUGE 分数。
引用
@article{arxiv.2002.03407,
title = {Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis},
author = {Ahmed Magooda and Diane Litman},
journal= {arXiv preprint arXiv:2002.03407},
year = {2020}
}
备注
To be published in FLAIRS33 (https://www.flairs-33.info/) and appear in he proceedings of AAAI