THREAT/crawl：一种可训练、高复用且可扩展的地下犯罪论坛自动爬取方法与工具
信息检索
2022-12-08 v1 密码学与安全
摘要
收集地下犯罪社区的数据对安全研究和安全运营均极具价值。遗憾的是，这些社区存在于多样化在线论坛的星丛中，难以渗透，可能采取反爬取监测对策，且需为每个不同社区开发专用抓取器，使该工作技术上日趋挑战，并可能代价高昂。为解决此问题，我们提出 THREAT/crawl，一种面向高复用爬取器的方法与原型工具，其可学习广泛范围（任意）的论坛结构，能在爬取活动中保持隐蔽，并可由用户扩展与配置。我们展示了 THREAT/crawl 的能力，并针对一系列活跃的实时地下社区对我们的原型进行了初步评估。
引用
@article{arxiv.2212.03641,
title = {THREAT/crawl: a Trainable, Highly-Reusable, and Extensible Automated Method and Tool to Crawl Criminal Underground Forums},
author = {Michele Campobasso and Luca Allodi},
journal= {arXiv preprint arXiv:2212.03641},
year = {2022}
}
备注
To be published in the Proceedings of the 17th Symposium on Electronic Crime Research (APWG eCrime 2022). Source code of the implemented solution available at https://gitlab.tue.nl/threat-crawl/THREATcrawl/