BotGraph：基于站点地图的 Web 机器人检测
密码学与安全
2019-03-27 v2
摘要
多年来，Web 机器人一直因消耗大量互联网流量并损害被抓取网站的利益而饱受诟病。传统的机器人检测研究主要关注基于签名的方案，但高级机器人通常伪造身份以绕过此类检测。随着云迁移的增多，云提供商为基于大数据进行有效机器人检测以解决此问题提供了新机遇。本文提出一种称为 BotGraph 的基于行为的机器人检测方案，其结合站点地图与卷积神经网络（CNN）来检测机器人的内部行为。实验结果表明，BotGraph 在来自不同客户（包括 Bing 搜索引擎及若干站点）的 35 天生产数据轨迹上取得了约 95% 的召回率与精确率。
引用
@article{arxiv.1903.08074,
title = {BotGraph: Web Bot Detection Based on Sitemap},
author = {Yang Luo and Guozhen She and Peng Cheng and Yongqiang Xiong},
journal= {arXiv preprint arXiv:1903.08074},
year = {2019}
}
备注
7 pages, 3 figures