分析GraphSum的注意力权重以提升多文档摘要的可解释性
计算与语言
2022-12-08 v2 机器学习
摘要
现代多文档摘要(MDS)方法基于Transformer架构。它们生成state of the art的摘要,但缺乏可解释性。我们关注用于MDS的基于图的Transformer模型,因其近期广受欢迎。我们旨在通过分析与可解释性相关的注意力权重来提升基于图的MDS的可解释性。在诸如GraphSum的基于图的MDS中,顶点表示文本单元,而边在单元上构成某种相似度图。我们在两个新闻基准数据集(即WikiSum和MultiNews)上比较了GraphSum利用不同文本单元(即句子与段落)的性能。我们的实验表明,段落级表示提供了最佳的摘要性能。因此,我们随后聚焦于分析GraphSum的多头与解码层的段落级注意力权重,以提升基于Transformer的MDS模型的可解释性。作为参考指标,我们计算输入段落与生成摘要中每个句子之间的ROUGE分数,其通过文本相似度指示来源出处信息。我们观察到注意力权重与该参考指标高度相关,尤其在Transformer架构的较后解码层上。最后,我们通过提取为每个生成摘要提供最多信息的段落,考察生成摘要是否遵循位置偏置模式。我们的结果表明,摘要中的位置与来源出处之间存在高度相关性。
引用
@article{arxiv.2105.11908,
title = {Analysis of GraphSum's Attention Weights to Improve the Explainability of Multi-Document Summarization},
author = {M. Lautaro Hickmann and Fabian Wurzberger and Megi Hoxhalli and Arne Lochner and Jessica Töllich and Ansgar Scherp},
journal= {arXiv preprint arXiv:2105.11908},
year = {2022}
}
备注
Paper accepted at iiWAS 2021