参考至关重要：基于细粒度评估框架的对话摘要事实错误校正基准测试
计算与语言
2023-06-09 v1
摘要
事实性对对话摘要十分重要。对模型生成摘要进行事实错误校正（FEC）是提升事实性的一种途径。当前依赖事实性指标的 FEC 评估不够可靠且不够细致。为解决该问题，我们首次手动标注了一个包含 4000 条项的对话摘要 FEC 数据集，并提出了 FERRANTI，一种基于参考校正的细粒度评估框架，可自动评估 FEC 模型在不同错误类别上的表现。利用该评估框架，我们在多种设置下对 FEC 方法进行了充分实验，找到了最佳训练模式，并发现现有方法在不同事实错误类别上的表现存在显著差异。
引用
@article{arxiv.2306.05119,
title = {Reference Matters: Benchmarking Factual Error Correction for Dialogue Summarization with Fine-grained Evaluation Framework},
author = {Mingqi Gao and Xiaojun Wan and Jia Su and Zhefeng Wang and Baoxing Huai},
journal= {arXiv preprint arXiv:2306.05119},
year = {2023}
}
备注
Accepted to ACL 2023 Main Conference