机器学习模型是否应在茫然无知时向我们报告？
机器学习
2022-04-29 v2 计算机与社会
摘要
AI 可解释权已在研究界与政策制定中巩固为共识。然而，可解释性的一个关键组成部分一直缺失：外推，其描述了 AI 模型在遇到陌生样本（即如其我们将解释的，位于其训练集凸包之外的样本）时茫然无知的程度。我们报告称，AI 模型在其熟悉数据范围之外进行外推，且频繁发生而未通知用户与利益相关者。知晓模型是否进行了外推是一项基本洞察，应被纳入对 AI 模型的解释中，以有利于透明性与问责制。我们不止于消极面，而是提供清除促进 AI 透明度道路障碍的方法。我们的分析评注附带实用条款，有助于纳入诸如美国《国家 AI 倡议法案》与欧盟委员会《AI 法案》等 AI 法规中。
引用
@article{arxiv.2203.12131,
title = {Should Machine Learning Models Report to Us When They Are Clueless?},
author = {Roozbeh Yousefzadeh and Xuenan Cao},
journal= {arXiv preprint arXiv:2203.12131},
year = {2022}
}