MegaWika 2：更全面的多语言文章及其来源集合
数字图书馆
2025-08-07 v1 计算与语言
摘要
我们介绍 MegaWika 2，这是一个大型的多语言维基百科文章数据集，包含其引用和抓取的网页来源；文章以丰富的数据结构表示，抓取的来源文本与文章文本中引用的字符偏移量精确对应。MegaWika 2 是原始 MegaWika 的重大升级，涵盖的文章数量是原来的六倍，完全抓取的引用数量是原来的两倍。MegaWika 和 MegaWika 2 都支持报告生成研究；而 MegaWika 还关注支持问答和检索应用，MegaWika 2 则旨在支持跨时间和跨语言的事实核查和分析。
引用
@article{arxiv.2508.03828,
title = {MegaWika 2: A More Comprehensive Multilingual Collection of Articles and their Sources},
author = {Samuel Barham and Chandler May and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2508.03828},
year = {2025}
}