在黑暗水域中啃榜：Tor 隐藏服务独特表面的纵向探索

Onion Router (Tor) 是一个不断受到广泛 scrutiny 的网络。一方面，它允许用户进行匿名交互和合作，寻求在互联网上无可追踪的导航。另一方面，这种自由也吸引了犯罪分子，他们试图扰乱执法部门的调查，例如贸易非法产品或服务，如毒品或武器。Tor 通过 .onion (或隐藏) 服务在不透露实际托管地址的前提下传递内容。与常规域名不同，这些服务无法被传统名称服务解析，无法被常规搜索引擎索引，并且经常更改。这导致对 Tor 网络范围、规模以及所提供内容类型的不确定性。本文我们呈现了对 Tor 网络的大规模分析。我们利用我们的爬虫系统 Mimir，该系统自动收集并访问页面内链接的内容，以收集来自超过 25k 个站点的页面数据集。我们分析了 Tor 网络的拓扑结构，包括其深度和从表面 web 的可达性。我们定义了一套启发式方法来检测复制内容 (镜像) 的存在，表明我们分析的暗网内容中约 82% 是其他内容的副本。我们还训练了自定义机器学习分类器来理解隐藏服务提供的内容类型。总体而言，我们的研究为 Tor 网络提供了新的见解，突显了针对特定主题的初始种子的重要性，并优化了爬虫过程。我们表明，先前关于大规模 Tor 测量的工作不考虑镜像的存在，这会偏斜对暗网拓扑和内容分布的理解。