黑盒学习器的特征相关性的显著性检验
机器学习
2022-06-22 v3 机器学习
统计方法学
摘要
一个令人振奋的最近进展是深度神经网络在许多科学领域中的采用，其主要目标是基于黑盒性质的输出预测。显著性检验有望解决黑盒问题，并基于深度学习模型探索新颖的科学见解和决策过程的解释。然而，由于神经网络具有黑盒性质且参数估计的极限分布未知，对其检验提出了挑战，而现有方法需要强假设或过多计算。在本文中，我们推导了单分割和双分割检验，放宽了现有黑盒检验的假设和计算复杂度，并推广到检验可能复杂类型（如图像）数据集中感兴趣的特征集合的显著性。单分割检验通过样本分割和数据扰动，基于估计子集和推断子集来估计和评估黑盒模型。双分割检验进一步将推断子集分为两部分但不需要扰动。此外，我们基于重复样本分割聚合 p 值发展了它们的组合版本。通过压缩偏差-标准差比，我们建立了检验统计量的渐近零分布以及关于第二类错误的相合性。在数值上，我们在七个模拟例子和六个真实数据集上展示了所提检验的效用。伴随本文的是我们的 Python 库 dnn-inference (https://dnn-inference.readthedocs.io/en/latest/)，实现了所提检验。
引用
@article{arxiv.2103.04985,
title = {Significance tests of feature relevance for a black-box learner},
author = {Ben Dai and Xiaotong Shen and Wei Pan},
journal= {arXiv preprint arXiv:2103.04985},
year = {2022}
}
备注
Accepted for publication in IEEE Transactions on Neural Networks and Learning Systems