人类-自主团队交互的左移分析：用于分析高风险 AI 系统自主性风险

开发包含人工智能 (AI) 组件的高风险自主系统是复杂的，错误的后果可能是灾难性的，但针对所有操作情形进行计划具有挑战性。在人类操作员面临紧迫情境（如短决策时间尺度）时，故障风险会被加剧。对 AI 故障模式的缺乏理解妨碍了这一切，也阻碍了 AI 在智能系统中可靠实现的应用。这会导致风险识别延迟，增加项目的时间、风险和成本。系统工程和采购工程的关键原则之一是将测试与评估活动向系统生命周期的更早阶段“左移”，以实现“加速交付[系统]之性能”。我们认为，这一偏移必须包括对 AI 故障情形的分析，作为系统生命周期设计阶段的组成部分。我们提出的框架使能够早期表征来自人类-自主团队 (HAT) 的风险，适用于特定操作情境。其核心是建立一种新的 AI 故障模式分析，基于 LaMonica 等人于 2022 年提出的人类-自主团队建模。通过分析人类与自主系统之间的交互，并探讨每个方面的故障模式，我们的方法提供了一种系统性识别人类-AI 交互风险的方法，适用于感兴趣系统的运行设计域。这种对突现行为的理解有助于提高系统的鲁棒性，应在其整个运行设计域范围内进行此类分析。我们通过一个示例用例进行了说明，用于支持命令与控制 (C2) 系统的 AI 助理。