基于正则化神经网络的灵活非参数建模

非参数加性模型能够以灵活且可解释的方式捕捉复杂的数据依赖关系。然而，选择加性分量的形式通常需要进行非平凡的数据探索。在此，作为替代方案，我们提出PrAda-net，一种单隐藏层神经网络，通过近端梯度下降与自适应lasso进行训练。PrAda-net自动调整神经网络的大小与结构以反映数据的复杂性与结构。PrAda-net所获得的紧凑网络可转化为加性模型分量，使其适用于具有自动模型选择的非参数统计建模。我们在模拟数据上展示了PrAda-net，将PrAda-net的测试误差表现、变量重要性与变量子集识别特性与其他基于lasso的神经网络正则化方法进行比较。我们还将PrAda-net应用于大规模的英国黑烟数据集，以展示PrAda-net如何用于对具有空间与时间分量的复杂异质数据进行建模。与经典统计非参数方法相比，PrAda-net无需预先建模以选择加性分量的函数形式，却仍能得到可解释的模型表示。