WikiLinkGraphs：一个完整、纵向且多语言的维基百科链接网络数据集
社会与信息网络
2019-04-05 v2 数字图书馆
摘要
维基百科文章包含多个将主题连接到百科全书其他页面的链接。在维基百科术语中，这些链接被称为内部链接或 wikilinks。我们提出了一个涵盖 个最大语言版本的维基百科内部链接网络的完整数据集。该数据集包含网络的年度快照，时间跨度达 年，从 2001 年维基百科创建至 2018 年 3 月 1 日。先前的工作大多聚焦于包含由模板自动生成的链接的完整超链接图，而我们解析了每篇文章的每个修订版本，以追踪正文中出现的链接。通过这种方式，我们获得了一个更干净的网络，丢弃了超过一半的链接，并且表示出编辑有意添加的所有且仅有的链接。我们详细描述了维基百科转储数据的处理过程以及遇到的挑战，包括需要处理重定向（即备选文章标题）等特殊页面。我们给出了该网络若干快照的描述性统计。最后，我们提出了可利用这一新数据集探索的若干研究机会。
引用
@article{arxiv.1902.04298,
title = {WikiLinkGraphs: A Complete, Longitudinal and Multi-Language Dataset of the Wikipedia Link Networks},
author = {Cristian Consonni and David Laniado and Alberto Montresor},
journal= {arXiv preprint arXiv:1902.04298},
year = {2019}
}
备注
10 pages, 3 figures, 7 tables, LaTeX. Final camera-ready version accepted at the 13TH International AAAI Conference on Web and Social Media (ICWSM 2019) - Munich (Germany), 11-14 June 2019