用于模型报告的模型卡片
机器学习
2019-01-16 v2 人工智能
摘要
训练好的机器学习模型正日益被用于执法、医疗、教育和就业等高风险影响的任务中。为澄清机器学习模型的预期用例并尽量减少其在不适用情境中的使用，我们建议发布的模型应附带详细说明其性能特征的文档。在本文中，我们提出一个称为模型卡片（model cards）的框架，以鼓励此类透明的模型报告。模型卡片是伴随训练好的机器学习模型的简短文档，提供在多种条件下的基准化评估，例如跨越与预期应用领域相关的不同文化、人口统计或表型群体（如种族、地理位置、性别、Fitzpatrick 皮肤类型）以及交叉群体（如年龄与种族，或性别与 Fitzpatrick 皮肤类型）。模型卡片还披露模型预期使用的背景、性能评估程序的细节以及其他相关信息。虽然我们主要关注计算机视觉和自然语言处理应用领域中以人为中心的机器学习模型，该框架可用于记录任何训练好的机器学习模型。为巩固这一概念，我们提供了两个监督模型的卡片：一个训练用于检测图像中的笑脸，另一个训练用于检测文本中的有毒评论。我们提出模型卡片作为迈向机器学习及相关 AI 技术负责任民主化的一步，增加对 AI 技术工作效果的透明度。我们希望这项工作鼓励那些发布训练好的机器学习模型的人在发布模型时附带类似的详细评估数值及其他相关文档。
引用
@article{arxiv.1810.03993,
title = {Model Cards for Model Reporting},
author = {Margaret Mitchell and Simone Wu and Andrew Zaldivar and Parker Barnes and Lucy Vasserman and Ben Hutchinson and Elena Spitzer and Inioluwa Deborah Raji and Timnit Gebru},
journal= {arXiv preprint arXiv:1810.03993},
year = {2019}
}