WikiHist.html：HTML 格式的英文维基百科完整修订历史
计算机与社会
2020-04-22 v3
摘要
维基百科以 wikitext 标记语言撰写。在提供内容时，支撑维基百科的 MediaWiki 软件将 wikitext 解析为 HTML，从而通过展开宏（模板与模块）插入额外内容。因此，打算分析读者所见维基百科的研究者应使用 HTML 而非 wikitext。由于维基百科的修订历史仅以 wikitext 格式公开可用，研究者不得不自行生成 HTML，通常借助维基百科的 REST API 进行临时的 wikitext 到 HTML 解析。然而，该方法（1）无法扩展到极大量数据，（2）不能正确展开历史条目修订中的宏。我们通过开发一种并行化架构来解决这些问题，该架构使用 MediaWiki 本地实例解析海量 wikitext，并增强了正确历史宏展开的能力。通过部署我们的系统，我们生成并发布了 WikiHist.html，即 HTML 格式的英文维基百科完整修订历史。我们在一项针对维基百科超链接的实证分析中凸显了 WikiHist.html 相较于原始 wikitext 的优势，表明 HTML 中存在的 wiki 链接超过一半在原始 wikitext 中缺失，且这些缺失链接对用户导航十分重要。
引用
@article{arxiv.2001.10256,
title = {WikiHist.html: English Wikipedia's Full Revision History in HTML Format},
author = {Blagoj Mitrevski and Tiziano Piccardi and Robert West},
journal= {arXiv preprint arXiv:2001.10256},
year = {2020}
}
备注
Dataset paper, 7 pages