ScamAgents：AI 代理如何模拟人类水平的诈骗电话
密码学与安全
2026-01-15 v2 人工智能
计算与语言
多智能体系统
摘要
大型语言模型（LLM）已展示出惊人的流畅性和推理能力，但其潜在滥用引发了日益增长的担忧。本文提出 ScamAgent，一个构建于 LLM 之上的自主多轮代理， capable of 生成高度逼真的诈骗电话脚本，模拟真实世界的欺诈情境。与专注于单次提示滥用的先前工作不同，ScamAgent 保持对话记忆，能够动态适应模拟的用户响应，并在对话轮次中运用欺骗性说服策略。我们展示了当前 LLM 安全防御措施，包括拒绝机制和内容过滤器，对于此类基于代理的威胁是无效的。即使针对提示具有强大的提示级别安全措施的模型，也可以在提示被分解、隐瞒或在代理框架中逐步递交时被绕过。我们进一步演示了将诈骗脚本转化为逼真语音电话的能力，完成一个完全自动化的诈骗管道。我们的发现突显了对多轮安全审计、代理级控制框架以及新方法的紧迫需求，这些方法能够检测和破坏由生成式 AI 提供的对话欺骗。
引用
@article{arxiv.2508.06457,
title = {ScamAgents: How AI Agents Can Simulate Human-Level Scam Calls},
author = {Sanket Badhe},
journal= {arXiv preprint arXiv:2508.06457},
year = {2026}
}
备注
Accepted at CAMLIS 25: Conference on Applied Machine Learning for Information Security. 19 pages, 3 figures