通过统计有效检验实现人工智能系统的功能可信性
机器学习
2023-10-05 v1 人工智能
机器学习
摘要
作者关注欧洲公民的安全、健康和权利，因为当前欧盟人工智能（AI）法案草案对 AI 系统合格评定的要求和程序不充分。我们观察到，不仅当前的欧盟 AI 法案草案，而且 CEN/CENELEC 的配套标准化工作，都采取了这样一种立场：AI 系统的真实功能保证 supposedly 不现实且过于复杂。然而，制定一种在评估不足的 AI 系统上制造虚假信任幻象的合格评定程序，往好了说是天真，往坏了说是严重疏忽。因此，欧盟 AI 法案未能抓住通过功能可信性确保质量并正确归因责任的要点。AI 决策系统的可信性首先在于对随机选取样本的正确统计检验，以及应用域定义的精确性，而这正是能够进行抽样的前提。我们随后将这种可检验的质量称为功能可信性。它包括使得所有相关功能的正确统计检验成为可能的设计、开发和部署。我们坚定地认为并主张，对 AI 系统统计功能特性的可靠评估必须成为合格评定的不可或缺、强制性的核心。在本文中，我们描述了建立可靠功能可信性的三个必要要素，即（1）应用的技术分布的定义，（2）基于风险的最低性能要求，以及（3）基于独立随机样本的统计有效检验。
引用
@article{arxiv.2310.02727,
title = {Functional trustworthiness of AI systems by statistically valid testing},
author = {Bernhard Nessler and Thomas Doms and Sepp Hochreiter},
journal= {arXiv preprint arXiv:2310.02727},
year = {2023}
}
备注
Position paper to the current regulation and standardization effort of AI in Europe