预测响应优化：利用强化学习对抗线上社交网络滥用

检测网络钓鱼、垃圾信息、虚假账户、数据抓取等在线社交网络 (OSN) 中的恶意活动是一个已研究了十余年的议题，已取得许多重要成果。几乎所有现有的滥用检测工作都以 producing 最佳可能的二进制分类器为目标，即标记未见示例为“良好”或“恶意”，以高精度和高召回率。然而，尚无任何已发表的工作考虑下一步该做什么：检测滥用后，服务实际上会做什么？本文认为，随着前述工作描述的检测并非在与人争夺滥用问题的人所追求的目标。相反，我们认为目标应是选择行动（例如禁用用户、阻止请求、显示验证码或“收集更多证据”），以优化滥用导致的伤害与对良好用户影响之间的权衡。借此，我们发现扩大可能的行动集合可以无法通过仅调节二进制分类器阈值实现的方式推动帕累托前沿。为展示我们方法的潜力，我们提出预测响应优化 (PRO) 系统，基于强化学习利用可用情境信息预测每种可能行动条件下的未来滥用和用户体验指标，并选择优化滥用/伤害与用户体验影响之间多维权衡的行动。在针对 Instagram 和 Facebook 上的自动化活动部署 PRO 的各个版本时，我们的实验表明 PRO 超出基准分类系统，分别将滥用量减少 59% 和 4.5%，且对用户无负面影响。我们还提出了多个案例研究，表明 PRO 能快速自动适应业务约束、系统行为和/或对手策略的变化。