有多少网页被存档了？
数字图书馆
2013-01-08 v2 信息检索
摘要
尽管 Internet Archive 的 Wayback Machine 是最大且最知名的网页存档，但近年来出现了许多公共网页存档。由于资源、受众和馆藏发展政策各不相同，这些存档之间的重叠程度各异。虽然可以通过 URI 数量、每个 URI 的副本数以及与其他存档的交集来衡量单个存档，但迄今为止，对于“有多少网页被存档了？”这一问题尚无答案。我们通过使用来自 DMOZ、Delicious、Bitly 和搜索引擎索引的样本 URI 来近似表示网页，并统计这些样本 URI 在各种公共网页存档中存在的副本数量来研究这一问题。每个样本集都有其自身的偏差。我们的样本集结果表明，有 35%-90% 的网页至少有一个存档副本，17%-49% 有 2-5 个副本，1%-8% 有 6-10 个副本，8%-63% 有超过 10 个副本存在于公共网页存档中。URI 副本的数量随时间变化，但每月被存档超过一次的 URI 不超过 31.3%。
引用
@article{arxiv.1212.6177,
title = {How Much of the Web Is Archived?},
author = {Scott G. Ainsworth and Ahmed AlSum and Hany SalahEldeen and Michele C. Weigle and Michael L. Nelson},
journal= {arXiv preprint arXiv:1212.6177},
year = {2013}
}
备注
This is the long version of the short paper by the same title published at JCDL'11. 10 pages, 5 figures, 7 tables. Version 2 includes minor typographical corrections