AbuseGPT：滥用生成式 AI 聊天机器人制作短信钓鱼攻击

短信钓鱼，又称“smishing”，是一种日益严重的威胁，它通过欺诈性的移动短信诱骗用户泄露私人信息或点击包含恶意内容的 URL。在最近的过去，我们还观察到对话式生成 AI 聊天机器人服务（例如 OpenAI 的 ChatGPT、Google 的 BARD）的快速发展，这些服务由预训练的大型语言模型（LLM）驱动。这些 AI 聊天机器人当然有很多实用价值，但尚未系统地了解它们如何在制造威胁和攻击中发挥作用。在本文中，我们提出了 AbuseGPT 方法，以展示攻击者如何利用现有的基于生成式 AI 的聊天机器人服务在现实世界中制作短信钓鱼文本，并最终导致更狡猾的短信钓鱼攻击。据我们所知，目前尚无现有工作明确展示这些基于文本的生成模型对创建短信钓鱼的影响。因此，我们相信这项研究是首个揭示这一新兴网络安全威胁的研究。我们发现了强有力的经验证据，表明攻击者可以通过精心构造提示注入攻击来利用现有基于生成式 AI 的聊天机器人服务中的道德标准，从而创建新的短信钓鱼攻击。我们还讨论了一些未来的研究方向和指南，以保护基于生成式 AI 的服务被滥用，并保护用户免受短信钓鱼攻击。