2024 基础模型透明度指数
机器学习
2025-03-06 v2 人工智能
计算机与社会
摘要
基础模型日益重要却极度不透明。为刻画当前格局，2023 年十月启动了基础模型透明度指数（FMTI）以衡量主要基础模型开发者的透明度。FMTI 2023 对 10 家主要基础模型开发者（如 OpenAI、Google）进行 100 项透明度指标评估（如开发者是否披露数据劳动力的工资）。当时，开发者公开披露的信息极其有限，平均得分为 37 分。为了解格局是否发生变化，我们进行了跟踪研究，经历 6 个月后：我们对 14 家开发者针对相同的 100 项指标进行评分。在 FMTI 2023 中我们搜索公开信息，而在 FMTI 2024 中，开发者提交了关于 100 项透明度指标的报告，可能包含此前不公开的信息。我们发现开发者现在平均得分为 58 分，较 FMTI 2023 提升了 21 分。大量提升归功于开发者在 FMTI 2024 过程中披露信息：平均而言，开发者披露了 16.6 项此前未公开的信息。我们观察到持续（即在 2023 和 2024 年）以及系统性（即在大多数或所有开发者中）的不透明现象，例如版权状况、数据访问、数据劳动力以及下游影响。我们为每个开发者发布了透明度报告，这些报告汇总了开发者向我们披露的信息。我们的发现表明，在这一新兴生态系统中，透明度可以得到改善，基础模型透明度指数很可能促成了这些改善，政策制定者应考虑在透明度尚未改善的领域实施干预措施。
引用
@article{arxiv.2407.12929,
title = {The 2024 Foundation Model Transparency Index},
author = {Rishi Bommasani and Kevin Klyman and Sayash Kapoor and Shayne Longpre and Betty Xiong and Nestor Maslej and Percy Liang},
journal= {arXiv preprint arXiv:2407.12929},
year = {2025}
}
备注
Published in TMLR 2025. Project page: https://crfm.stanford.edu/fmti