从AI生成内容到智能体行动：生成式AI中的安全与安全威胁

生成式AI系统越来越多地用于不仅产生内容，还用于检索数据、调用工具和执行操作。本工作跨内容层面、模型层面和智能体威胁三个维度，考察了这一变化所带来的安全与安全影响。我们分析了随着模型从生成制品转移到通过工具链和外部API执行操作后，攻击者访问要求、系统自主性和潜在伤害范围如何变化。随后，我们评估了包括检测、水印、对齐和新兴智能体安全措施在内的技术对策，显示出其中几项依赖于当前治理安排尚未提供的制度性协调形式。我们所检视的案例表明，随着系统从生成内容转向执行现实世界操作，能力部署和攻击面扩展的速度持续超过防御性响应的速度。