LOBO —— Twitter 机器人分类器泛化缺陷的评估
密码学与安全
2018-09-27 v1 社会与信息网络
摘要
在线社交网络中的僵尸网络正日益频繁地影响正常的讨论流，攻击普通用户及其帖子，向它们发送无关或冒犯性内容，甚至操纵消息与账号的 popularity。研究人员与网络犯罪分子陷入军备竞赛，旨在击败当前检测系统的新的及更新的僵尸网络被不断开发，使此类检测系统过时。本文中，我们论证了 Twitter 机器人检测中泛化评估的必要性，并提出一种通过在不曾见过的机器人类别上测试来评估机器人分类器的方法论。我们表明该方法论在经验上是稳健的，使用不同规模与特征的机器人类别并得出相似结果，并主张在单一机器人类别或数据集上训练与测试的方法可能无法泛化到新机器人类别。我们在一个超过 200,000 数据点的分类器上训练，显示其达到超过 97% 的准确率。用于训练与测试该分类器的数据包含文献中使用的一些最大且最多变的机器人集合。随后我们用我们的方法论测试这一理论上健全的分类器，突显其不能很好地泛化到未见的机器人类别。最后，我们讨论结果的含义，以及某些机器人类别为何比其他类别更易且更快被检测到的原因。
引用
@article{arxiv.1809.09684,
title = {LOBO -- Evaluation of Generalization Deficiencies in Twitter Bot Classifiers},
author = {Juan Echeverría and Emiliano De Cristofaro and Nicolas Kourtellis and Ilias Leontiadis and Gianluca Stringhini and Shi Zhou},
journal= {arXiv preprint arXiv:1809.09684},
year = {2018}
}