形式化智能体AI系统的安全、安全与功能属性
人工智能
2026-04-16 v2 密码学与安全
多智能体系统
摘要
智能体AI系统利用多个自主智能体和大型语言模型（LLM）来解决复杂的多步骤任务。此类系统的安全性、可靠性和功能性至关重要，尤其是在高风险应用中。然而，当前智能体间通信生态系统高度碎片化，针对工具访问的模型上下文协议（MCP）以及针对协调的智能体间协议（A2A）等均在孤立环境中进行分析。这一碎片化导致语义差距，阻碍对系统属性的严格分析，并引入架构错位和可被利用的协调问题风险。为应对这些挑战，我们引入了两个核心模型的建模框架用于智能体AI系统：（1）主机智能体模型形式化了与用户交互、任务分解及其通过外部智能体和工具执行来协调其执行的顶级实体；（2）任务生命周期模型详细描绘了来自创建到完成的单个子任务的状态与转换，提供对任务管理与错误处理的细粒度视图。通过这两个模型，为智能体AI系统的行为提供统一的语义框架。基于此框架，我们定义了16项关于主机智能体的属性和14项关于任务生命周期的属性，归类为存活性、安全性、完整性和公平性。这些属性以时序逻辑表达，可实现对系统行为的形式化验证、检测协调边缘情况并防止死锁与安全漏洞。通过这一努力，我们引入了首个严格基于域无关性框架，用于分析、设计和部署正确、可靠且健壮的智能体AI系统。
引用
@article{arxiv.2510.14133,
title = {Formalizing the Safety, Security, and Functional Properties of Agentic AI Systems},
author = {Edoardo Allegrini and Ananth Shreekumar and Z. Berkay Celik},
journal= {arXiv preprint arXiv:2510.14133},
year = {2026}
}