谁应负责？解释多智能体信息物理系统中的安全违规
系统与控制
2024-10-29 v1 系统与控制
摘要
多智能体信息物理系统存在于各种应用中。由于不确定、动态的操作环境引起的错误或智能体采取的错误行动，智能体的决策可能会受到影响。当识别出导致安全违规的错误决策时，将责任分配给各个智能体是防止未来事故的关键步骤。当前进行此类调查的方法需要人力或对操作环境的高度熟悉。分配责任的自动化策略可以显著减少人力和相关认知负担。在本文中，我们开发了一种自动化程序，以有原则的方式将安全违规的责任分配给任何单个智能体的行动。我们的方法基于对道路安全中安全违规的推理。给定一个安全违规，我们使用反事实推理来创建替代场景，展示如果某些行动被其他行动替代，可能会发生怎样的不同结果。我们为每个智能体引入了责任度指标。DoR 使用 Shapley 值量化每个智能体对安全违规的贡献，为解释和证明决策提供了基础。我们还开发了基于智能体交互结构的启发式技术和方法，以提高随着智能体数量增加的可扩展性。我们检查了来自美国国家公路交通安全管理局（NHTSA）的三个安全违规案例。我们使用 CARLA 城市驾驶模拟器进行实验。结果表明，DoR 提高了决策的可解释性以及智能体行动及其后果的责任归属。
引用
@article{arxiv.2410.20288,
title = {Who is Responsible? Explaining Safety Violations in Multi-Agent Cyber-Physical Systems},
author = {Luyao Niu and Hongchao Zhang and Dinuka Sahabandu and Bhaskar Ramasubramanian and Andrew Clark and Radha Poovendran},
journal= {arXiv preprint arXiv:2410.20288},
year = {2024}
}