临床智能体综合安全分类法

安全性是临床聊天机器人应用中的首要关注点，其中不准确或有害的响应可能导致严重后果。现有方法——如护栏和工具调用——往往无法满足临床领域的细微需求。本文提出 TACOS（TAxonomy of COmprehensive Safety for Clinical Agents，临床智能体综合安全分类法），一个细粒度的 21 类分类法，将安全过滤和工具选择整合到单一的用户意图分类步骤中。TACOS 是一个能够覆盖广泛临床和非临床查询的分类法，明确建模了不同的安全阈值和外部工具依赖关系。为验证该分类法，我们整理了 TACOS 标注数据集并进行了广泛实验。我们的结果展示了专门针对临床智能体设置的新分类法的价值，并揭示了关于训练数据分布和基础模型预训练知识的有益见解。