SEED-SET：用于系统级伦理测试的可扩展演化实验设计

由于无处不在且明确定义的评估指标缺失，以及特定利益相关者主观性因素无法进行解析分析，自动化伦理基准测试正在受到不足的关注。这一挑战在于评估日益增长部署于高风险、以人类为中心领域的自主系统（如无人机），以确保其伦理一致性，因为未能进行评估将导致对人类生命的即时危险以及长期决策偏见。为此，我们提出了 SEED-SET，一个包含特定领域客观评估和来自利益相关者的主观价值判断的贝叶斯实验设计框架。SEED-SET 分别以层次化高斯过程建模这两种评估类型，并使用一种新颖的获取策略，基于所学习的定性偏好和与利益相关者偏好一致的目标，提出有趣的测试候选人。我们在两个应用上验证了该方法用于自主代理人的伦理基准测试，发现该方法表现最佳。该方法通过生成最多 $2\times$ 基线的最优测试候选人，以及 $1.25\times$ 的高维搜索空间覆盖率，提供了在探索与开发护之间的可解释且高效的权衡。