面向大型神经网络的变量重要性惰性估计

随着不透明预测模型日益影响现代生活的诸多领域，量化给定输入变量对特定预测重要性的兴趣不断增长。近来，测量变量重要性（VI）的模型无关方法大量涌现，这些方法通过分析在全部变量上训练的全模型与排除感兴趣变量（或变量子集）的简化模型之间预测能力的差异来度量。这些方法共有的瓶颈在于对每个变量（或变量子集）估计简化模型，这是一个昂贵的过程且通常缺乏理论保证。本文中，我们提出一种快速且灵活的近似简化模型方法，并带有重要的推断保证。我们用初始化于全模型参数的线性化替代完全重训宽神经网络的需求。通过添加类岭惩罚使问题凸化，我们证明当岭惩罚参数足够大时，我们的方法以 $O(\frac{1}{\sqrt{n}})$ 的误差率估计变量重要性度量，其中 $n$ 为训练样本数。我们还证明我们的估计量是渐近正态的，从而能为 VI 估计提供置信界。我们通过仿真表明，在多种数据生成机制下我们的方法快速且准确，并在季节性气候预测实例中展示了其现实适用性。