评估大型语言模型发动完全自动渔钓活动的能力：基于人类主体的验证
密码学与安全
2024-12-03 v1
摘要
本文评估了大型语言模型进行定制化钓鱼攻击的能力，并将其性能与人类专家和去年的AI模型进行比较。我们包括四个邮件组，总计101名参与者：控制组的任意钓鱼邮件，点击率为12%；由人类专家生成的邮件（点击率54%），完全AI自动化的邮件（点击率54%），以及利用人类在环（human-in-the-loop）方式生成的AI邮件（点击率56%）。因此，AI自动化的攻击在性能上与人类专家相当，比控制组高出350%。结果较去年类似研究有显著改善，凸显了AI模型的欺骗能力增强。我们的AI自动化邮件通过定制构建的工具发送，该工具自动化整个钓鱼过程，包括信息收集和为每个目标创建个人化漏洞轮廓。AI收集的信息在88%的情况下都准确且有用，仅在4%的参与者中产生不准确的轮廓。我们还使用语言模型检测邮件的意图。Claude 3.5 Sonnet的检测准确率超过90%，误报率低，且检测到了几封似乎无害但被人类检测通过的邮件。最后，我们分析了钓鱼的经济学，突出了AI如何使攻击者能够以更低的成本针对更多个体，增加利润可达50倍。
引用
@article{arxiv.2412.00586,
title = {Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects},
author = {Fred Heiding and Simon Lermen and Andrew Kao and Bruce Schneier and Arun Vishwanath},
journal= {arXiv preprint arXiv:2412.00586},
year = {2024}
}