用于抽象式新闻摘要的转导学习
计算与语言
2022-04-19 v2 人工智能
机器学习
摘要
预训练并微调的新闻摘要器被期望能泛化到微调（训练）阶段未见过的新闻文章。然而，这些文章常包含 specifics，如新事件与新人物，摘要器在训练中无法习得。这适用于诸如新闻发布方在旧新闻上训练摘要器并摘要新近 incoming 新闻的场景。本工作中，我们探索了转导学习在摘要中的首次应用，即对测试集输入进一步微调模型。具体而言，我们从显著文章句构建伪摘要并输入随机掩码的文章。此外，该方法在微调阶段也有益，我们在训练集中联合预测抽取式伪参考与抽象式金摘要。我们表明该方法在CNN/DM与NYT数据集上取得当前最优结果，分别将ROUGE-L提升1.05与0.74。重要的是，我们的方法不需要对原始架构做任何改动。此外，我们展示了从旧新闻到更新CNN新闻的转导益处。最后，通过人工与自动评估，我们证明了摘要抽象性与连贯性的提升。
引用
@article{arxiv.2104.09500,
title = {Transductive Learning for Abstractive News Summarization},
author = {Arthur Bražinskas and Mengwen Liu and Ramesh Nallapati and Sujith Ravi and Markus Dreyer},
journal= {arXiv preprint arXiv:2104.09500},
year = {2022}
}