隐匿的访客：网站上检测机器人的轻量级方法
网络与互联网体系结构
2026-04-01 v2 密码学与安全
摘要
自动机器人现在约占所有网络请求的半数，且越来越多的机器人故意伪造其身份以规避检测或不遵守robots.txt。现有的对抗措施要么资源密集（JavaScript挑战、CAPTCHA），要么成本高昂（商业解决方案），要么降低用户体验。本文提出了一种轻量级、被动的机器人检测方法，结合用户代理字符串分析与基于网站图标的启发式方法，完全在标准Web服务器日志上运行，无需客户端交互。我们在来自全球各地网站的超过460万条请求（包含54,945个唯一用户代理字符串）上评估了该方法。我们的方法在保持3%误报率的同时检测了67.7%的机器人流量，优于现有最先进方法（低于20%）。该方法可作为第一道防线，仅将真正模糊的请求路由至主动挑战，从而保留合法用户的体验。
引用
@article{arxiv.2603.28546,
title = {Shy Guys: A Light-Weight Approach to Detecting Robots on Websites},
author = {Rémi Van Boxem and Tom Barbette and Cristel Pelsser and Ramin Sadre},
journal= {arXiv preprint arXiv:2603.28546},
year = {2026}
}
备注
10 pages, 6 figures, submitted to IFIP TMA 2026