从思考者到社会：AI 代理的层次化自主性演化中的安全
密码学与安全
2026-03-24 v2 人工智能
摘要
人工智能（AI）代理已从被动的预测工具演化为具备自主决策和环境交互能力的主动实体，受大型语言模型（LLM）推理能力驱动。这一演化引入了关键性安全漏洞，现有框架未能加以应对。层次化自主性演化（Hierarchical Autonomy Evolution, HAE）框架将代理安全组织为三个层级：认知自主性（L1）针对内部推理完整性；执行自主性（L2）覆盖通过工具进行的环境交互；集体自主性（L3）针对多代理生态系统中的系统性风险。我们提出了一套横跨认知操纵、物理环境干扰和多代理系统性失效的威胁分类，并评估了现有防御措施，同时识别出关键研究空白。我们的发现旨在指导开发面向可信 AI 代理系统的多层次、自主性感知防御架构。
引用
@article{arxiv.2603.07496,
title = {From Thinker to Society: Security in Hierarchical Autonomy Evolution of AI Agents},
author = {Xiaolei Zhang and Lu Zhou and Xiaogang Xu and Jiafei Wu and Tianyu Du and Heqing Huang and Hao Peng and Zhe Liu},
journal= {arXiv preprint arXiv:2603.07496},
year = {2026}
}