面向智能体AI系统的可靠性监控框架视角
人工智能
2025-11-13 v1 系统与控制
系统与控制
摘要
智能体AI系统的实现有望提供更有帮助的AI系统，适用于各种应用。这些系统在定义目标方面具有自主性，减少外部控制。尽管具有潜力，但其主要缺点之一是可靠性不足，使得其特别不适用于医疗或过程行业等高风险领域。不可靠的系统在操作期间可能表现出意外行为，因而需要缓解措施。本文基于智能体AI系统的特征，推导出其在操作期间的主要可靠性挑战。我们将其与传统AI系统联系起来，并提出一种固有的在操作期间的基本可靠性挑战，这一挑战同时适用于传统AI系统和智能体AI系统。作为我们的主要贡献，我们提出了一个面向智能体AI系统的两层可靠性监控框架，包括用于 novel 输入的 out-of-distribution 检测层，以及揭示内部操作的AI透明度层。这种两层监控方法为人类操作员提供了所需的决策支持，以决定输出是否可能不可靠以及是否需要干预。该框架为开发缓解技术提供了基础，以减少因操作期间可靠性不确定性而产生的风险。
引用
@article{arxiv.2511.09178,
title = {Perspectives on a Reliability Monitoring Framework for Agentic AI Systems},
author = {Niclas Flehmig and Mary Ann Lundteigen and Shen Yin},
journal= {arXiv preprint arXiv:2511.09178},
year = {2025}
}