基础模型透明度指数
机器学习
2023-10-20 v1 人工智能
摘要
基础模型已迅速渗透社会，催化了一波横跨企业与面向消费者场景的生成式AI应用浪潮。尽管基础模型的社会影响日益增长，透明度却在下降，映照出困扰过往数字技术（如社交媒体）的不透明性。扭转这一趋势至关重要：透明度是公共问责、科学创新与有效治理的重要前提。为评估基础模型生态系统的透明度并随时间的推移助力改善透明度，我们引入了基础模型透明度指数。该指数规定了100项细粒度指标，全面将基础模型的透明度编成法典，涵盖用于构建基础模型的上游资源（如数据、劳动力、算力）、模型本身的细节（如规模、能力、风险）以及下游使用（如分发渠道、使用政策、受影响地域）。我们根据这100项指标对10家主要基础模型开发者（如OpenAI、Google、Meta）评分以评估其透明度。为便利并标准化评估，我们依据各开发者其旗舰基础模型（如OpenAI的GPT-4、Google的PaLM 2、Meta的Llama 2）的实践进行评分。我们呈现了关于基础模型生态系统的10项顶层发现：例如，当前无开发者披露其旗舰模型下游影响的显著信息，如用户数量、受影响市场部门，或用户如何就损害寻求救济。总体而言，基础模型透明度指数确立了今日的透明度水平，以通过行业标准与监管干预推动基础模型治理进展。
引用
@article{arxiv.2310.12941,
title = {The Foundation Model Transparency Index},
author = {Rishi Bommasani and Kevin Klyman and Shayne Longpre and Sayash Kapoor and Nestor Maslej and Betty Xiong and Daniel Zhang and Percy Liang},
journal= {arXiv preprint arXiv:2310.12941},
year = {2023}
}
备注
Authored by the Center for Research on Foundation Models (CRFM) at the Stanford Institute for Human-Centered Artificial Intelligence (HAI). Project page: https://crfm.stanford.edu/fmti