API背后分段线性模型的精确一致解释：一种闭式解
机器学习
2020-04-21 v2 机器学习
摘要
越来越多的AI服务通过云端的API提供，其中预测模型隐藏在API之后。为建立用户信任并降低潜在应用风险，解释此类隐藏在API背后的预测模型如何做出决策十分重要。解释此类预测的最大挑战在于无法访问模型参数或训练数据。现有工作通过对扰动输入实例启发式探测API响应来解释隐藏在API背后的模型预测，但这些方法无法保证其解释的精确性与一致性。本文提出一种优雅的闭式解OpenAPI，用于计算分段线性模型（PLM）族（包含许多流行分类模型）的精确一致解释。主要思想是首先利用一小组扰动实例及模型在这些实例上的预测构造一组超定线性方程组，然后求解该方程组以识别对输入实例预测负责的决策特征。我们大量的实验清楚地证明了本方法的精确性与一致性。
引用
@article{arxiv.1906.06857,
title = {Exact and Consistent Interpretation of Piecewise Linear Models Hidden behind APIs: A Closed Form Solution},
author = {Zicun Cong and Lingyang Chu and Lanjun Wang and Xia Hu and Jian Pei},
journal= {arXiv preprint arXiv:1906.06857},
year = {2020}
}