通过抽象摘要中提取的要点检测器增强长文本理解
计算与语言
2021-10-12 v1
摘要
长文本理解在自然语言处理中重要且具有挑战性。长篇论文或文章通常包含许多与其要点无关的多余词语，有时可视为噪声。本文考虑如何为长文本理解解耦要点相关与无关信息的问题。借助蒸馏机制，我们将抽象摘要模型关于如何关注显著部分的知识进行迁移，并将蒸馏得到的模型（称为\emph{要点检测器}）作为补充组件集成到现有模型中以增强长文本理解。在文档分类、远程监督开放域问答（DS-QA）和非平行文本风格迁移上的实验表明，我们的方法能显著提升基线模型性能，并在文档分类上取得最优整体结果。
引用
@article{arxiv.2110.04741,
title = {Enhance Long Text Understanding via Distilled Gist Detector from Abstractive Summarization},
author = {Yan Liu and Yazheng Yang},
journal= {arXiv preprint arXiv:2110.04741},
year = {2021}
}