GlobeSumm：通往统一多语言、跨语言和多文档新闻摘要的挑战性基准
计算与语言
2024-10-08 v1 人工智能
摘要
当今全球化的新闻摘要面临海量多语言内容和来自不同来源的多样化观点的挑战。然而，当前研究往往忽视此类现实场景，因为它们倾向于仅关注单语言或单文档任务。为弥合这一差距，我们旨在将多语言、跨语言和多文档摘要统一为一个新任务，即 MCMS，该任务全面覆盖现实世界的需求。然而，缺乏基准数据集阻碍了研究者充分探讨这一宝贵问题。为此，我们亲手构建了 GLOBESUMM 数据集：首先收集大量多语言新闻报道并重构为事件导向格式；其次引入协议导向提示法，以实现高质量且成本效益极佳的参考注释。MCMS 中我们还强调了新闻报道之间冲突的挑战，除冗余与遗漏问题外，进一步提升了 GLOBESUMM 的复杂性。通过大规模实验分析，我们验证了数据集质量，阐明了该任务的内在难点。我们坚信，鉴于其具有挑战性，GLOBESUMM 将为多语言社区和 LLM 评估提供巨大贡献。
引用
@article{arxiv.2410.04087,
title = {GlobeSumm: A Challenging Benchmark Towards Unifying Multi-lingual, Cross-lingual and Multi-document News Summarization},
author = {Yangfan Ye and Xiachong Feng and Xiaocheng Feng and Weitao Ma and Libo Qin and Dongliang Xu and Qing Yang and Hongtao Liu and Bing Qin},
journal= {arXiv preprint arXiv:2410.04087},
year = {2024}
}
备注
EMNLP 2024 main conference, long paper