AHA!：通过生成危害示例促进 AI 影响评估
人机交互
2023-06-07 v1
摘要
尽管对有害 AI 后果进行变革与问责的需求日益增长，预见部署 AI 系统的下游效应仍是一项挑战性任务。我们开发了 AHA!（Anticipating Harms of AI），一个生成式框架，用于在开发或部署前协助 AI 从业者和决策者预见 AI 系统的潜在危害和意外后果。给定一个 AI 部署场景，AHA! 为不同利益相关者生成可能危害的描述。为此，AHA! 系统地考虑常见的问题性 AI 行为及其对不同利益相关者的潜在影响之间的相互作用，并通过小场景叙述这些条件。然后通过提示众包工作者和大型语言模型，用可能危害的描述填充这些小场景。通过考察 AHA! 针对五种不同 AI 部署场景所揭示的 4113 项危害，我们发现 AHA! 生成了有意义的危害示例，不同的问题性 AI 行为导致了不同类型的危害。用这些小场景同时提示众包和大型语言模型，比单独由众包或模型生成的危害示例更加多样。为评估 AHA! 的潜在实用价值，我们还对负责任 AI 专业人员（N=9）进行了半结构化访谈。参与者认为 AHA! 系统性揭示危害的方法对于伦理反思十分重要，并发现了他们认为否则不会想到的有意义的利益相关者和危害。然而，参与者对于 AHA! 应前置使用还是作为二次检查存在意见分歧，并指出 AHA! 可能将危害预见从构思问题转变为潜在的繁重审查问题。基于我们的结果，我们讨论了构建帮助从业者设想可能危害的工具的设计启示。
引用
@article{arxiv.2306.03280,
title = {AHA!: Facilitating AI Impact Assessment by Generating Examples of Harms},
author = {Zana Buçinca and Chau Minh Pham and Maurice Jakesch and Marco Tulio Ribeiro and Alexandra Olteanu and Saleema Amershi},
journal= {arXiv preprint arXiv:2306.03280},
year = {2023}
}