基于Botometer的社交机器人研究的有效性调查

近年来，诸如Twitter等社交媒体平台充斥大量社交机器人的观点已被广泛接受。社交机器人被假定为由恶意行为者操作的自动化社交媒体账户，旨在操纵公众舆论。它们被认为具备自主生成内容并与人类用户交互的能力。社交机器人活动已在许多不同政治背景中被报道，包括美国总统大选、关于移民、气候变化和COVID-19的讨论。然而，相关出版物要么使用粗糙且可疑的启发式方法区分所谓的社交机器人与人类，要么——在绝大多数情况下——完全依赖自动机器人检测工具的输出，最常见的是Botometer。本文中，我们指出广泛使用的用于估计社交机器人普遍程度的研究设计存在一个根本理论缺陷。此外，我们通过密切且系统地检查数百个被计为社交机器人的账户，实证调查了经同行评审的基于Botometer的研究的有效性。我们未能发现任何一个社交机器人。相反，我们发现大多无疑由人类用户操作的账户，其中绝大多数以不起眼且寻常的方式使用Twitter，没有任何自动化的痕迹。我们得出结论：声称基于Botometer调查社交机器人的普遍程度、属性或影响的研究，实际上只是调查了该方法论的假阳性与人为产物。