从聊天机器人到钓鱼机器人？——防范利用 ChatGPT、Google Bard 和 Claude 生成的钓鱼诈骗
密码学与安全
2024-03-12 v2 计算与语言
摘要
大语言模型（LLMs）的先进能力使其在从对话代理和内容创作到数据分析、研究与创新的各种应用中不可或缺。然而，其高效性与易用性也使其易被滥用于生成恶意内容，包括钓鱼攻击。本研究探讨了使用四种流行的商用 LLM（即 ChatGPT（GPT 3.5 Turbo）、GPT 4、Claude 和 Bard）通过一系列恶意提示生成功能性钓鱼攻击的潜力。我们发现这些 LLM 能够生成可令人信服地仿冒知名品牌的钓鱼网站和电子邮件，并部署多种规避策略以逃避反钓鱼系统所采用的检测机制。这些攻击可使用这些 LLM 的未修改或“原生”版本生成，无需任何先前的对抗性利用（如越狱）。我们评估了 LLM 生成此类攻击的性能，发现它们还可用于创建恶意提示，进而反馈给模型以生成钓鱼诈骗——从而大幅降低攻击者规模化这些威胁所需的提示工程工作量。作为对策，我们构建了一个基于 BERT 的自动化检测工具，可用于恶意提示的早期检测，以防止 LLM 生成钓鱼内容。我们的模型可迁移至全部四种商用 LLM，对钓鱼网站提示的平均准确率达 96%，对钓鱼电子邮件提示的平均准确率达 94%。我们亦向相关 LLM 披露了漏洞，Google 将其认定为严重问题。我们的检测模型可在 Hugging Face 上使用，并提供 ChatGPT Actions 插件。
引用
@article{arxiv.2310.19181,
title = {From Chatbots to PhishBots? -- Preventing Phishing scams created using ChatGPT, Google Bard and Claude},
author = {Sayak Saha Roy and Poojitha Thota and Krishna Vamsi Naragam and Shirin Nilizadeh},
journal= {arXiv preprint arXiv:2310.19181},
year = {2024}
}