Amazon SageMaker Clarify：云端的机器学习偏差检测与可解释性
机器学习
2021-09-09 v1
摘要
理解机器学习（ML）模型的预测及其潜在偏差仍是一项依赖应用、数据集和具体模型的艰巨且劳动密集型任务。我们提出 Amazon SageMaker Clarify，这是 Amazon SageMaker 于 2020 年 12 月发布的解释性特性，通过识别偏差和解释预测来提供对数据与 ML 模型的洞察。它深度集成于 Amazon SageMaker——一项使数据科学家和开发者能任意规模构建、训练和部署 ML 模型的完全托管服务。Clarify 在 ML 生命周期中的数据准备、模型评估和部署后监测阶段支持偏差检测与特征重要性计算。我们概述了源自客户输入的诉求、模块化架构，以及偏差与解释计算的方法论。此外，我们描述了遇到的技术挑战和不得不做出的权衡。作为示例，我们讨论了两个客户用例。我们展示了部署结果，包括定性客户反馈和定量评估。最后，我们总结经验教训，并讨论在实践中成功采用公平性与解释工具的最佳实践。
引用
@article{arxiv.2109.03285,
title = {Amazon SageMaker Clarify: Machine Learning Bias Detection and Explainability in the Cloud},
author = {Michaela Hardt and Xiaoguang Chen and Xiaoyi Cheng and Michele Donini and Jason Gelman and Satish Gollaprolu and John He and Pedro Larroy and Xinyu Liu and Nick McCarthy and Ashish Rathi and Scott Rees and Ankit Siva and ErhYuan Tsai and Keerthan Vasist and Pinar Yilmaz and Muhammad Bilal Zafar and Sanjiv Das and Kevin Haas and Tyler Hill and Krishnaram Kenthapadi},
journal= {arXiv preprint arXiv:2109.03285},
year = {2021}
}