分层代理监督：面向医疗安全的层次化多智能体系统
人工智能
2025-09-30 v2
摘要
作为智能体部署的大型语言模型（LLM）在临床环境中引入了显著的安全风险，因其潜在的错误和单点故障。我们提出了分层代理监督（TAO），一种通过分层自动化监督增强AI安全的层次化多智能体系统。借鉴医院中的临床层级（如护士-医生-专科医生），TAO根据任务复杂度将任务路由至专门的智能体，通过自动化的层间和层内通信与角色扮演，构建了鲁棒的安全框架。关键的是，这种层次化结构作为一种有效的错误纠正机制，能够在错误累积之前吸收多达24%的个体智能体错误。我们的实验表明，TAO在5项医疗安全基准中的4项上优于单智能体和其他多智能体系统，性能提升高达8.2%。消融研究证实了系统的关键设计原则：（i）其自适应架构比静态单层配置安全超过3%，（ii）其下层是不可或缺的，因为移除下层会导致整体安全性的最大幅度下降。最后，我们通过一项用户研究验证了系统与人类医生的协同作用，其中医生作为最高层智能体提供纠正反馈，将医疗分诊准确率从40%提升至60%。项目页面：https://tiered-agentic-oversight.github.io/
引用
@article{arxiv.2506.12482,
title = {Tiered Agentic Oversight: A Hierarchical Multi-Agent System for Healthcare Safety},
author = {Yubin Kim and Hyewon Jeong and Chanwoo Park and Eugene Park and Haipeng Zhang and Xin Liu and Hyeonhoon Lee and Daniel McDuff and Marzyeh Ghassemi and Cynthia Breazeal and Samir Tulebaev and Hae Won Park},
journal= {arXiv preprint arXiv:2506.12482},
year = {2025}
}