WeAudit：面向生成式 AI 审计的用户审计者与 AI 实践者的脚手架
人机交互
2025-04-30 v4
摘要
实习从业者和研究人员越来越关注通过让最终用户参与 AI 审计，以借助用户独特的知识和生活经验。然而，我们对如何以能够为 AI 实践者生成可操作见解的方式有效地为最终用户提供审计支持了解不多。通过与用户和 AI 实践者的形式化研究，我们首先确定了一组支持用户参与式 AI 审计的设计目标。随后我们开发了 WeAudit，一个支持最终用户在个人和集体层面上进行 AI 审计的工作流程和系统。我们通过为用户审计者进行为期三周的用户研究以及对行业生成式 AI 实践者的访谈来评估 WeAudit。我们的发现为 WeAudit 支持用户注意和反思潜在 AI 伤害，并以行业实践者能够采取的行动方式表达其发现提供了见解。基于我们的观察和来自用户和实践者的反馈，我们确定了若干机会以更好地支持用户参与 AI 审计过程。我们讨论了为支持有效和负责任的用户参与 AI 审计和红队测试的未来研究的含义。
引用
@article{arxiv.2501.01397,
title = {WeAudit: Scaffolding User Auditors and AI Practitioners in Auditing Generative AI},
author = {Wesley Hanwen Deng and Wang Claire and Howard Ziyu Han and Jason I. Hong and Kenneth Holstein and Motahhare Eslami},
journal= {arXiv preprint arXiv:2501.01397},
year = {2025}
}