Jailbreaking 生成式 AI：让新手执行网络钓鱼攻击
密码学与安全
2025-03-04 v1
摘要
生成式 AI 模型（如 ChatGPT）的快速发展带来了显著的益处，也带来了新的网络安全风险。本文研究了最新 AI 模型 ChatGPT-4o Mini 在促成社会工程攻击方面的潜在滥用，具体关注是网络钓鱼攻击，这是当今最紧迫的网络安全威胁之一。虽然现有文献主要关注技术层面，如越狱技术，但尚未充分探讨新手用户如何通过 ChatGPT-4o Mini 自由且简便地执行完整网络钓鱼活动。本研究检验了 2025 年 AI 驱动的聊天机器人服务的漏洞，特别是越狱和逆向心理学等方法如何绕过伦理警示，使 ChatGPT 能够生成网络钓鱼内容、建议黑客工具并协助实施网络钓鱼攻击。我们的发现凸显了即使是缺乏经验的用户也能轻松执行高级网络钓鱼活动的令人警惕的便利性，强调在 AI 时代加强网络安全措施和提升用户意识的紧迫性。
引用
@article{arxiv.2503.01395,
title = {Jailbreaking Generative AI: Empowering Novices to Conduct Phishing Attacks},
author = {Rina Mishra and Gaurav Varshney and Shreya Singh},
journal= {arXiv preprint arXiv:2503.01395},
year = {2025}
}