基于无监督双智能体强化学习的高效可解释压缩式文本摘要
计算与语言
2023-06-07 v1
摘要
近年来,压缩式文本摘要在抽取式摘要的简洁性不足与生成式摘要的事实幻觉问题之间取得了平衡。然而,现有大多数压缩式摘要方法都是有监督的,依赖于耗费高昂代价创建带有相应压缩摘要的新训练数据集。本文提出一种高效且可解释的压缩式摘要方法,利用无监督双智能体强化学习,通过模拟人类对摘要质量的评判来优化摘要的语义覆盖度与流畅度。我们的模型由一个抽取智能体和一个压缩智能体组成,两个智能体均采用基于多头注意力指针的结构。抽取智能体首先从文档中选取显著句子,随后压缩智能体通过挑选显著词对这些抽取出的句子进行压缩以形成摘要,且无需使用参考摘要来计算摘要奖励。据我们所知,这是首项关于无监督压缩式摘要的工作。在三个广泛使用的数据集(如 Newsroom、CNN/DM 和 XSum)上的实验结果表明,我们的模型取得了有前景的性能,并在 Newsroom 上基于 ROUGE 指标实现了显著提升,同时摘要结果具有语义覆盖度的可解释性。
引用
@article{arxiv.2306.03415,
title = {Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning},
author = {Peggy Tang and Junbin Gao and Lei Zhang and Zhiyong Wang},
journal= {arXiv preprint arXiv:2306.03415},
year = {2023}
}
备注
The 4th Workshop on Simple and Efficient Natural Language Processing (SustaiNLP 2023), co-located with ACL 2023