面向有效判别性测试：生成式 AI 的方法

Thomas P. Zollo; Nikita Rajaneesh; Richard Zemel; Talia B. Gillis; Emily Black

面向有效判别性测试：生成式 AI 的方法

机器学习 2024-12-31 v1 人工智能计算机与社会

作者: Thomas P. Zollo , Nikita Rajaneesh , Richard Zemel , Talia B. Gillis , Emily Black

摘要

生成式 AI（GenAI）模型在面对判别性行为监管时 presents new challenges。本文认为，GenAI 公平性研究仍未满足这些挑战；现有偏差评估方法与监管目标之间存在显著差距。这导致监管效果不佳，可能允许部署据称公平却实际上具有判别性的 GenAI 系统。为弥补这一问题，我们联系围绕 GenAI 偏差评估的法律与技术文献，识别出存在偏差的领域。通过四个案例研究，我们展示了公平性测试技术与监管目标之间的这种偏差如何在实际部署中导致判别性结果，尤其是在自适应或复杂环境中。我们提出了实用建议，以改进判别性测试，更好地与监管目标保持一致，并增强未来部署中公平性评估的可靠性。

关键词

生成式 AI 公平性测试判别性监管对齐偏差评估

引用

@article{arxiv.2412.21052,
  title  = {Towards Effective Discrimination Testing for Generative AI},
  author = {Thomas P. Zollo and Nikita Rajaneesh and Richard Zemel and Talia B. Gillis and Emily Black},
  journal= {arXiv preprint arXiv:2412.21052},
  year   = {2024}
}

备注

38 pages, 9 tables, 8 figures

面向有效判别性测试：生成式 AI 的方法

摘要

关键词

引用

备注

相关论文