Dizzy：洋葱服务的规模化爬取与分析
密码学与安全
2023-05-05 v3 社会与信息网络
摘要
洋葱服务拥有近250万用户，已成为暗网的重要组成部分。仅在过去五年中，洋葱域名数量就增长了20倍，在2022年1月达到超过70万个独立域名。由于洋葱服务托管各类非法内容，它们已成为暗网研究的宝贵资源，也是电子犯罪调查与威胁情报的有机组成部分。然而，这些内容在很大程度上未被当今搜索引擎索引，研究人员不得不依赖规模、范围或两者皆受限的过时或手动收集的数据集。为解决此问题，我们构建了Dizzy：一个开源的洋葱服务爬取与分析系统。Dizzy实现了新颖的技术，以规模化探索、更新、检查并分类洋葱服务，同时不使Tor网络不堪重负。我们于2021年4月部署了Dizzy，并用其分析了超过6330万已爬取的洋葱网页，重点关注域名运营、网页内容、加密货币使用及网页图。我们的主要发现表明：洋葱服务因其高流失率而不可靠；可达域名数量相对较少且往往相似并涉及非法内容；地下加密货币经济不断增长；其网页图与常规网页图相比联系相对紧密但在拓扑上不同。
引用
@article{arxiv.2209.07202,
title = {Dizzy: Large-Scale Crawling and Analysis of Onion Services},
author = {Yazan Boshmaf and Isuranga Perera and Udesh Kumarasinghe and Sajitha Liyanage and Husam Al Jawaheri},
journal= {arXiv preprint arXiv:2209.07202},
year = {2023}
}