对话摘要方法的系统性探索：复现性、比较评估与方法学创新以推动自然语言处理中的抽象摘要
计算与语言
2024-10-22 v1 人工智能
摘要
在自然语言处理领域，科学研究的可重复性对于验证和验证实验发现的鲁健性至关重要。本文深入探讨了对话摘要模型的复现和评估，特别关注原始研究与我们复现 efforts 之间的差异。对话摘要是自然语言处理的一个关键方面，旨在将对话内容浓缩为简洁且有信息量的摘要，从而有助于高效的信息检索和决策过程。我们的研究涉及对几种对话摘要模型的彻底检查，使用 AMI（增强多方互动）数据集。所评估的模型包括层次记忆网络（HMNet）和各种版本的指针生成网络（PGN），包括 PGN(DKE)、PGN(DRD)、PGN(DTS) 和 PGN(DALL)。主要目标是通过人类评估评估这些模型生成的摘要的信息量和质量，通过这种方法会引入主观性和可变性。分析从数据集 1 开始，其中样本标准差为 0.656，表示数据点围绕均值的分布。
引用
@article{arxiv.2410.15962,
title = {Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization},
author = {Yugandhar Reddy Gogireddy and Jithendra Reddy Gogireddy},
journal= {arXiv preprint arXiv:2410.15962},
year = {2024}
}