SUMIE：用于增量实体摘要的合成基准
计算与语言
2024-06-10 v1 机器学习
摘要
现有没有数据集充分测试语言模型在增量更新实体摘要方面的能力——这一能力至关重要，因为这些模型正在迅速发展。增量实体摘要（IES）任务对于维护准确、最新的知识至关重要。为此，我们引入 SUMIE，一个完全合成的数据集，旨在暴露真实世界 IES 挑战。这一数据集有效地揭示了诸如实体关联错误和信息不完整呈现等问题。与常见合成数据集不同， ours 捕捉了来自真实世界数据的复杂性和细微差别。我们依次生成信息丰富且多样的属性、摘要和非结构化段落，确保高质量。我们生成的摘要与段落之间的对齐率超过 96%，证明了数据集的质量。大量实验表明，该数据集具有较高难度——最先进的大语言模型在更新摘要时难以实现超过 80.4% 的 F1 分数。我们将开源此基准及其评估指标，以帮助社区在 IES 任务上取得进展。
引用
@article{arxiv.2406.05079,
title = {SUMIE: A Synthetic Benchmark for Incremental Entity Summarization},
author = {Eunjeong Hwang and Yichao Zhou and Beliz Gunel and James Bradley Wendt and Sandeep Tata},
journal= {arXiv preprint arXiv:2406.05079},
year = {2024}
}
备注
24 figures, 4 tables