交互式模型卡片：一种以人为中心的模型文档方法
人机交互
2022-05-09 v1 人工智能
计算与语言
摘要
用于自然语言处理（NLP）的深度学习模型正日益被缺乏 NLP 或机器学习（ML）正规训练的分析师所采用和部署。然而，旨在传达模型细节与适当用法的文档主要面向具备 ML 或 NLP 专业知识的人员。为弥补这一差距，我们对交互式模型卡片进行了设计探究，其通过提供探索模型文档和与模型本身交互的可供性，对传统静态模型卡片进行增强。我们的研究包括一项与 ML、NLP 和 AI 伦理专家进行的初步概念研究，以及一项由在工作中使用 ML 模型的非专家分析师参与的独立评估研究。采用半结构化访谈形式结合出声思考协议，我们共收集了 30 名参与者的反馈，他们使用了不同版本的标准与交互式模型卡片。通过对所收集数据的主题分析，我们确定了若干概念维度，概括了标准与交互式模型卡片的优势与局限，包括：利益相关者；设计；指导；可理解性与可解释性；意义建构与质疑；以及信任与安全。我们的发现表明了审慎的设计与交互性对于引导和支持使用深度学习模型的非专家分析师的重要性，同时也显示出需要考虑更广泛的社会技术背景与组织动态。我们还识别了支持交互性并使非交互内容可达的设计元素，如语言、视觉提示与警告等。我们将发现总结为设计指南，并讨论其对以人为中心的 AI/ML 文档方法的意义。
引用
@article{arxiv.2205.02894,
title = {Interactive Model Cards: A Human-Centered Approach to Model Documentation},
author = {Anamaria Crisan and Margaret Drouhard and Jesse Vig and Nazneen Rajani},
journal= {arXiv preprint arXiv:2205.02894},
year = {2022}
}
备注
To appear at ACM FAccT'22