GRETEL：用于长文档抽取式摘要的图对比主题增强语言模型
计算与语言
2022-08-23 v1
摘要
近年来，神经主题模型（NTMs）已被引入预训练语言模型（PLMs）中，以捕获文本摘要的全局语义信息。然而，在这些方法中，捕获和整合全局语义信息的方式仍存在局限。本文提出一种新颖模型——图对比主题增强语言模型（GRETEL），将图对比主题模型与预训练语言模型相结合，以充分利用全局与局部上下文语义进行长文档抽取式摘要。为了更好地捕获全局语义信息并将其融入PLMs，图对比主题模型集成了分层Transformer编码器与图对比学习，以融合来自全局文档上下文与黄金摘要的语义信息。为此，GRETEL鼓励模型高效抽取与黄金摘要主题相关的显著句子，而非覆盖次优主题的冗余句子。在通用领域与生物医学数据集上的实验结果表明，我们所提方法优于SOTA方法。
引用
@article{arxiv.2208.09982,
title = {GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization},
author = {Qianqian Xie and Jimin Huang and Tulika Saha and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2208.09982},
year = {2022}
}
备注
Accepted by COLING2022