基于 Transformer 编码-解码模型的人类化摘要评估
计算与语言
2024-10-23 v1 人工智能
摘要
近期来，抽取大规模文本信息取得了显著进展。尤其在当前社交媒体时代，人们期待快速获取信息要点。自动文本摘要旨在通过压缩大文本生成更易管理的摘要以解决此问题。该重要研究领域有助于从大文本中挖掘关键内容以辅助决策。随着深度学习模型的进步，语言模型领域出现了大量工作。编码-解码框架在深度学习中已成为自动文本摘要的核心方法。本文利用基于 Transformer 的 BART 模型实现人类化摘要，这是一类面临诸多挑战的开放性问题。在训练与微调编码-解码模型时，使用多样化样本文章测试，并基于人类评估参数评估不同样本摘要的质量。进一步比较微调模型与基线预训练模型的性能，采用 ROUGE 得分和 BERTScore 等评估指标。此外，针对对话式文本的 abstractive 摘要，需对模型进行领域适应以提升性能。在调查中发现，上述流行评估指标对事实错误不够敏感。对微调模型生成的摘要进行进一步分析，采用 WeCheck 与 SummaC 等当代事实一致性评估指标进行检验。BBC 新闻文章的实证结果表明，人类编写的金标准摘要在事实一致性方面比微调模型生成的 abstractive 摘要高出 17%。
关键词
引用
@article{arxiv.2410.16842,
title = {Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization},
author = {Sindhu Nair and Y. S. Rao and Radha Shankarmani},
journal= {arXiv preprint arXiv:2410.16842},
year = {2024}
}
备注
Pre-print