网络碳定年：估计网络资源的年龄
信息检索
2013-04-19 v1 数字图书馆
摘要
在网络研究过程中，通常需要估计网络资源的创建时间（一般情况下，该值只能估计）。虽然手动为少量资源确定可能的日期时间是可行的，但如果集合很大，这变得不可行。我们提出了“carbon date”，一个简单的网络应用程序，它通过轮询多个证据源并返回一个包含各自值的机器可读结构来估计URI的创建日期。为了确定可能的日期时间，我们轮询bitly获取该URI首次被缩短的时间，topsy获取该URI首次被推文的时间，Memento聚合器获取它首次出现在公共网络存档中的时间，Google的最后爬取时间，以及资源本身的Last-Modified HTTP响应头。我们还检查了Google报告的URI回链，并对链接到该URI的资源应用相同的技术。我们在一个包含1200个URI的黄金标准数据集上评估了我们的工具，其中创建日期已手动验证。我们能够估计75.90%的资源的创建日期，其中32.78%具有正确的值。鉴于URI的不同性质，各种方法的联合产生了最佳结果。虽然Google最后爬取日期和topsy占了最接近答案的近66%，但从结果中消除网络存档或Last-Modified会对结果产生最大的总体负面影响。carbon date应用程序可通过webAPI下载或使用。
引用
@article{arxiv.1304.5213,
title = {Carbon Dating The Web: Estimating the Age of Web Resources},
author = {Hany M. SalahEldeen and Michael L. Nelson},
journal= {arXiv preprint arXiv:1304.5213},
year = {2013}
}
备注
This work is published at TempWeb03 workshop at WWW 2013 conference in Rio de Janeiro, Brazil