Distill-and-Compare：使用透明模型蒸馏审计黑盒模型
机器学习
2018-10-12 v4 人工智能
机器学习
摘要
黑盒风险评分模型渗透到我们生活的方方面面，然而它们通常是专有的或不透明的。我们提出Distill-and-Compare，一种通过模型蒸馏与比较来审计此类模型的方法。为深入理解黑盒模型，我们将其视为教师，训练透明的学生模型来模仿黑盒模型分配的风险评分。我们将经蒸馏训练的学生模型与基于真实结果训练的第二个未经蒸馏的透明模型进行比较，并利用两者之间的差异来获得对黑盒模型的洞察。我们的方法可应用于现实场景中，无需探测黑盒模型API。我们在四个公开数据集上演示了该方法：COMPAS、Stop-and-Frisk、Chicago Police和Lending Club。我们还提出了一种统计检验，以确定数据集是否缺失了用于训练黑盒模型的关键特征。我们的检验发现ProPublica数据很可能缺失了COMPAS中使用的关键特征。
引用
@article{arxiv.1710.06169,
title = {Distill-and-Compare: Auditing Black-Box Models Using Transparent Model Distillation},
author = {Sarah Tan and Rich Caruana and Giles Hooker and Yin Lou},
journal= {arXiv preprint arXiv:1710.06169},
year = {2018}
}
备注
Camera-ready version for AAAI/ACM AIES 2018. Data and pseudocode at https://github.com/shftan/auditblackbox. Previously titled "Detecting Bias in Black-Box Models Using Transparent Model Distillation". A short version was presented at NIPS 2017 Symposium on Interpretable Machine Learning