MegaWika：覆盖 50 种多样语言的百万级报告及其来源
计算与语言
2023-07-17 v1
摘要
为促进协作式 AI 辅助报告生成新模型的发展，我们推出 MegaWika，其包含 50 种多样语言的 1300 万篇维基百科文章，以及与之相关的 7100 万份引用源材料。我们对该数据集进行多重处理以支撑各类应用，超越最初的维基百科引文抽取与网页内容抓取，包括翻译非英语文章以支持跨语言应用，以及提供 FrameNet 解析以用于自动语义分析。MegaWika 是规模最大的句子级报告生成资源，也是唯一多语言的报告生成数据集。我们通过语义分层抽样手动分析该资源质量。最后，我们给出自动化报告生成关键步骤的基线结果与训练模型：跨语言问答与引文检索。
引用
@article{arxiv.2307.07049,
title = {MegaWika: Millions of reports and their sources across 50 diverse languages},
author = {Samuel Barham and Orion Weller and Michelle Yuan and Kenton Murray and Mahsa Yarmohammadi and Zhengping Jiang and Siddharth Vashishtha and Alexander Martin and Anqi Liu and Aaron Steven White and Jordan Boyd-Graber and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2307.07049},
year = {2023}
}
备注
Submitted to ACL, 2023