利用深度学习架构的注意力机制神经序列到序列建模以增强抽象文本摘要中的上下文理解
计算与语言
2024-04-22 v1 机器学习
摘要
自动文本摘要在将大量信息压缩成简洁、连贯的摘要方面起着关键作用，有助于高效的信息检索和理解。本文提出了一种新颖的单文档抽象文本摘要框架，该框架整合了三个主要方面：结构、语义和基于神经的方法。所提出的框架融合了机器学习和基于知识的技术，以实现统一的方法论。该框架包括三个主要阶段：预处理、机器学习和后处理。在预处理阶段，采用基于知识的词义消歧技术来泛化歧义词，增强内容泛化。然后进行语义内容泛化以处理词汇表外或罕见词，确保对输入文档的全面覆盖。随后，使用神经语言处理技术将泛化后的文本转换为连续向量空间。采用带有注意力机制的深度序列到序列模型，基于向量表示预测泛化摘要。在后处理阶段，利用启发式算法和文本相似度度量进一步优化生成的摘要。将泛化摘要中的概念与特定实体匹配，增强连贯性和可读性。在包括Gigaword、Duc 2004和CNN/DailyMail在内的著名数据集上进行的实验评估证明了所提出框架的有效性。结果表明，在处理罕见词和词汇表外词方面有显著改进，优于现有的最先进深度学习技术。所提出的框架提供了一种全面且统一的抽象文本摘要方法，结合了结构、语义和基于神经方法学的优势。
引用
@article{arxiv.2404.08685,
title = {Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization},
author = {Bhavith Chandra Challagundla and Chakradhar Peddavenkatagari},
journal= {arXiv preprint arXiv:2404.08685},
year = {2024}
}