利用从摘要模型蒸馏的知识改进长文本理解
计算与语言
2024-05-09 v1 人工智能
摘要
长文本理解对自然语言处理而言既重要又充满挑战。一篇长文或文档通常包含许多与其主旨无关的冗余词汇，这些词汇有时可被视为噪声。随着生成式摘要技术的最新进展，我们提出了 \emph{Gist Detector}，以利用摘要模型的主旨检测能力，并将提取的主旨整合到下游模型中，从而增强其长文本理解能力。具体而言，Gist Detector 首先学习从摘要模型中蒸馏出的主旨检测知识，随后生成主旨感知表示以增强下游模型。我们在三个不同任务上评估了该方法：长文档分类、远监督开放域问答以及非平行文本风格迁移。实验结果表明，我们的方法能显著提升基线模型在所有任务上的性能。
引用
@article{arxiv.2405.04955,
title = {Improving Long Text Understanding with Knowledge Distilled from Summarization Model},
author = {Yan Liu and Yazheng Yang and Xiaokang Chen},
journal= {arXiv preprint arXiv:2405.04955},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2110.04741