FairCanary：快速连续的可持续解释公平性
机器学习
2023-05-30 v4 计算机与社会
摘要
针对（1）已部署机器学习（ML）与人工智能（AI）模型被广泛记录的失败，以及（2）影响这些模型的新监管要求，持续模型监控系统应运而生。现有监控系统持续追踪已部署 ML 模型的性能，并为每次预测计算特征重要性（亦称解释），以帮助开发者识别模型性能问题的根源。我们提出分位数人口漂移（QDD，Quantile Demographic Drift），一种新颖的模型偏差量化指标，它利用分位数分箱来度量各子组上整体预测分布的差异。QDD 非常适用于持续监控场景，不受传统基于阈值的偏差指标统计局限性的影响，且不需要结果标签（运行时可能无法获得）。我们将 QDD 整合进一个名为 FairCanary 的持续模型监控系统，该系统复用为每次单独预测计算的现有解释，以快速计算 QDD 偏差指标的解释。这一优化使 FairCanary 比先前试图生成特征级偏差解释的工作快一个数量级。
引用
@article{arxiv.2106.07057,
title = {FairCanary: Rapid Continuous Explainable Fairness},
author = {Avijit Ghosh and Aalok Shanbhag and Christo Wilson},
journal= {arXiv preprint arXiv:2106.07057},
year = {2023}
}
备注
Accepted as a full paper at the 2022 AAAI/ACM Conference on AI, Ethics, and Society