设计者与检测者：大语言模型对比更小的人类模型于钓鱼攻击
密码学与安全
2023-12-04 v2
摘要
基于大语言模型构建的 AI 程序使得能够根据关于用户的少量数据点自动创建钓鱼邮件成为可能。它们与黑客利用经验中归纳的通用规则手动设计的传统钓鱼邮件形成对比。V-Triad 是一套用于手动设计钓鱼邮件以利用我们的认知启发式与偏差的先进规则集。在本研究中，我们比较由 GPT-4 自动创建以及使用 V-Triad 手动创建的钓鱼邮件的表现。我们还结合 GPT-4 与 V-Triad 以评估其组合潜力。第四组暴露于通用钓鱼邮件，作为我们的对照组。我们采用因子设计，向为研究招募的 112 名随机选取参与者发送邮件。对照组邮件点击率介于 19-28%，GPT 生成邮件 30-44%，V-Triad 生成邮件 69-79%，GPT 与 V-Triad 生成邮件 43-81%。每位参与者被要求解释其按下或未按下邮件中链接的原因。这些回答常相互矛盾，凸显了对个性化内容的需求。使一人避开钓鱼邮件的线索却使另一人中招。接下来，我们使用四种流行大语言模型（GPT、Claude、PaLM 和 LLaMA）检测钓鱼邮件意图，并将结果与人类检测比较。这些语言模型展现出检测恶意意图的强能力，即便在非显而易见的钓鱼邮件中。它们有时超越人类检测，尽管通常比人类略不准确。最后，我们对 AI 赋能钓鱼攻击的经济层面进行分析，展示大语言模型如何通过降低成本来增加钓鱼与定向钓鱼的激励。
引用
@article{arxiv.2308.12287,
title = {Devising and Detecting Phishing: Large Language Models vs. Smaller Human Models},
author = {Fredrik Heiding and Bruce Schneier and Arun Vishwanath and Jeremy Bernstein and Peter S. Park},
journal= {arXiv preprint arXiv:2308.12287},
year = {2023}
}