设计 AI 系统的分组评估：选择、考量与权衡
计算机与社会
2021-12-03 v2 人工智能
机器学习
摘要
AI 系统的分组评估（disaggregated evaluations，即针对不同人群分别评估和报告系统性能）在概念上十分简单。然而，其设计涉及多种选择。其中一些选择会影响将获得的结果，进而影响可得出的结论；另一些则会影响分组评估对人们（包括用于开展评估的数据所属人群）所产生的有益和有害影响。我们认为，更深入地理解这些选择将使研究者和从业者能够设计出审慎且具结论性的分组评估。我们还认为，更好地记录这些选择以及所基于的考量与权衡，将有助于他人在解读评估结果与结论时作出判断。
引用
@article{arxiv.2103.06076,
title = {Designing Disaggregated Evaluations of AI Systems: Choices, Considerations, and Tradeoffs},
author = {Solon Barocas and Anhong Guo and Ece Kamar and Jacquelyn Krones and Meredith Ringel Morris and Jennifer Wortman Vaughan and Duncan Wadsworth and Hanna Wallach},
journal= {arXiv preprint arXiv:2103.06076},
year = {2021}
}