HETFORMER：面向长文本抽取式摘要的带稀疏注意力的异构图Transformer
计算与语言
2021-10-22 v2 人工智能
机器学习
摘要
为了从原始文本中捕获语义图结构，大多数现有的摘要方法都构建在带有预训练模型的GNN上。然而，这些方法在处理长文本文档时存在流程繁琐和计算效率低下的问题。为缓解这些问题，本文提出HETFORMER，一种基于Transformer的预训练模型，具有多粒度稀疏注意力，用于长文本抽取式摘要。具体而言，我们将原始文本中不同类型的语义节点建模为潜在的异构图，并直接通过Transformer学习节点间的异构关系（边）。在单文档和多文档摘要任务上的大量实验表明，HETFORMER在使用更少内存和更少参数的同时，在Rouge F1上达到了最先进的性能。
引用
@article{arxiv.2110.06388,
title = {HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization},
author = {Ye Liu and Jian-Guo Zhang and Yao Wan and Congying Xia and Lifang He and Philip S. Yu},
journal= {arXiv preprint arXiv:2110.06388},
year = {2021}
}
备注
EMNLP 2021 (short paper)