大语言模型时代用于社交机器人检测的账户历史特征

社交平台上的机器人检测历来依赖于账户元数据特征和从帖子文本及个人资料字段中提取的特征的组合。强大语言模型的出现使后者变得复杂。机器人操作者可以通过GPT-4或Claude运行每条帖子，生成表面统计特征难以与人类写作区分开来的文本，这削弱了内容衍生特征的预测价值。本文探讨了有多少检测问题可以通过攻击者不易低成本操纵的特征来解决：账户年龄、关注者和好友数量及其比率、个人资料完整性以及用户名的结构属性。在一个公开再分发的包含2,432个Twitter账户（43.0%为机器人）且带有手动验证标签的语料库上，仅使用这些账户历史特征的随机森林在五折交叉验证中实现了0.977的ROC-AUC，而仅内容基线的为0.830，融合模型的为0.981。行为与内容之间的差距很大，且通过DeLong检验具有统计学显著性（z = 9.36, p < 0.001）。然后我们评估了两种对抗性设置。在第一种设置中，我们重写机器人推文的文本以匹配URL、话题标签、提及和大小写的人类表面统计特征；内容分类器的ROC-AUC从0.842降至0.785，而行为分类器基本不变。在第二种更激进的设置中，我们直接将内容特征值向人类分布扰动；内容分类器降至随机水平以下（AUC 0.466），而行为性能保持不变。我们在TwiBot-20的100个账户样本上定性地复制了分数分布。我们得出结论，操作性机器人检测不应将内容特征视为主要信号；账户历史特征已经承担了大部分负载，并且不会因对抗性文本重写而削弱。