评估生成式人工智能系统在社会与系统中的社会影响
计算机与社会
2025-04-08 v4 人工智能
摘要
跨模态的生成式人工智能系统，涵盖文本（包括代码）、图像、音频和视频，具有广泛的社会影响，但目前尚无评估这些影响的方式或应评估哪些影响的官方标准。在本文中，我们提出一份指南，朝着评估任意模态基础生成式人工智能系统的标准方法迈进，分为两个总体类别：可在脱离语境的基础系统中评估的内容，以及可在社会语境中评估的内容。重要的是，这指的是没有预定应用或部署语境的基础系统，包括模型本身以及系统组件（如训练数据）。我们针对基础系统的框架定义了七类社会影响：偏见、刻板印象与代表性伤害；文化价值与敏感内容；差异性表现；隐私与数据保护；财务成本；环境成本；以及数据与内容审核人工成本。建议的评估方法适用于所列生成模态，且对现有评估局限性的分析可作为未来必要评估投资的起点。我们为在更广泛社会语境中可评估的内容提供五个总体类别，每类各有子类：可信度与自主性；不平等、边缘化与暴力；权威集中；劳动与创造力；以及生态系统与环境。每个子类均包含减轻伤害的建议。
引用
@article{arxiv.2306.05949,
title = {Evaluating the Social Impact of Generative AI Systems in Systems and Society},
author = {Irene Solaiman and Zeerak Talat and William Agnew and Lama Ahmad and Dylan Baker and Su Lin Blodgett and Canyu Chen and Hal Daumé and Jesse Dodge and Isabella Duan and Ellie Evans and Felix Friedrich and Avijit Ghosh and Usman Gohar and Sara Hooker and Yacine Jernite and Ria Kalluri and Alberto Lusoli and Alina Leidinger and Michelle Lin and Xiuzhu Lin and Sasha Luccioni and Jennifer Mickel and Margaret Mitchell and Jessica Newman and Anaelia Ovalle and Marie-Therese Png and Shubham Singh and Andrew Strait and Lukas Struppek and Arjun Subramonian},
journal= {arXiv preprint arXiv:2306.05949},
year = {2025}
}
备注
This version has been removed by arXiv administrators as the submitter did not have the right to agree to the license at the time of submission