多文档摘要领域迁移中的失效测量
计算与语言
2025-08-01 v2 人工智能
摘要
抽象式多文档摘要 (MDS) 是指自动摘要来自新闻文章至来自多个说话者对话等多个文档中的信息。当前 MDS 模型的训练方法可分为四类：端到端采用特殊预训练的 "direct" 方法、块式-摘要、提取-摘要以及使用 GPT 类模型的推理。本文评估了跨训练方法、领域和维度（参考相似性、质量和事实性）的 MDS 模型，以分析在零样本领域迁移设置下，模型如何以及为何无法对来自不同领域（新闻、科学和对话）的文档进行摘要。我们定义领域迁移 "失效" 为事实性下降、偏离目标值增加以及摘要质量整体下降。除了探索 MDS 模型的领域迁移外，我们还检查了将流行摘要指标直接应用于不同领域的潜在问题。
引用
@article{arxiv.2503.15768,
title = {Can one size fit all?: Measuring Failure in Multi-Document Summarization Domain Transfer},
author = {Alexandra DeLucia and Mark Dredze},
journal= {arXiv preprint arXiv:2503.15768},
year = {2025}
}