漫长登顶路：互联网榜单的重要性、结构与稳定性
网络与互联网体系结构
2018-09-25 v2
摘要
包括互联网测量、隐私与网络安全在内的广泛研究领域都依赖于待分析的目标域名列表；研究者出于必要性或效率原因使用目标列表。广为人知的一百万域名 Alexa 列表是一个被广泛使用的例子。尽管其在研究论文中普遍出现，榜单的可靠性却鲜少被学界质疑：关于列表的创建、代表性、潜在偏差、稳定性或列表间重叠知之甚少。在本研究中，我们调查研究界所用榜单的范围、性质与演进。我们评估这些榜单的结构与稳定性，并表明某些榜单的排名可被操纵。我们还复现了若干科学研究的成果，以评估根本使用榜单、具体使用哪一榜单以及列表创建日期的影响。我们发现：(i) 榜单相较总体普遍显著高估结果，常甚至达一个数量级；(ii) 某些榜单具有惊人的变化特征，导致高度的日间波动并引发结果不稳定。我们在论文结尾给出关于榜单使用的具体建议，以及如何谨慎解读基于榜单的结果。
引用
@article{arxiv.1805.11506,
title = {A Long Way to the Top: Significance, Structure, and Stability of Internet Top Lists},
author = {Quirin Scheitle and Oliver Hohlfeld and Julien Gamba and Jonas Jelten and Torsten Zimmermann and Stephen D. Strowes and Narseo Vallina-Rodriguez},
journal= {arXiv preprint arXiv:1805.11506},
year = {2018}
}
备注
To be published at ACM IMC 2018. Web site with live data under: https://toplists.github.io