一种用于二分类器技术评估的审计框架
计算机与社会
2022-11-18 v1
摘要
使用逻辑回归的多层模型（MLogRM）和随机森林模型（RFM）正越来越多地部署于工业界的二分类任务中。欧盟委员会提出的人工智能法案（AIA）在某些条件下要求此类模型的应用公平、透明且符合伦理，这进而意味着需要对这些模型进行技术评估。本文提出并演示了一种针对 RFM 和 MLogRM 技术评估的审计框架，重点关注模型相关、歧视相关以及透明性与可解释性相关的方面。为度量这些方面，提出了 20 个 KPI，并将其与交通灯式风险评估方法配对。使用一个开源数据集训练了 RFM 和 MLogRM 模型，计算这些 KPI 并与交通灯进行比较。评估了 kernel-SHAP 和 tree-SHAP 等常用可解释性方法的性能。该框架有望协助监管机构对二分类器进行符合性评估，并有益于部署此类 AI 系统的提供方和用户遵守 AIA。
引用
@article{arxiv.2211.09500,
title = {An Audit Framework for Technical Assessment of Binary Classifiers},
author = {Debarati Bhaumik and Diptish Dey},
journal= {arXiv preprint arXiv:2211.09500},
year = {2022}
}