DebiNet：用非线性过参数化神经网络对线性模型去偏
机器学习
2021-01-26 v2 机器学习
摘要
近年来，过参数化神经网络在各种任务上展现出强劲的经验性能，并在理论方面取得诸多进展，例如通用逼近性质与可证明收敛到全局最小值。在本文中，我们将过参数化神经网络引入半参数模型，以弥合推断与预测之间的差距，尤其是在高维线性问题中。通过这样做，我们可以利用广泛的一类网络来逼近干扰函数并一致地估计感兴趣的参数。因此，我们或许能提供两全其美的方案：来自神经网络的通用逼近能力，以及来自经典普通线性模型的可解释性，从而实现有效推断与准确预测。我们展示了使之成为可能的理论基础，并通过数值实验加以证明。此外，我们提出了一个名为 DebiNet 的框架，其中我们将任意特征选择方法插入到我们的半参数神经网络中。DebiNet 能够对正则化估计量（如 Lasso）去偏，并在选择后推断与泛化误差方面表现良好。
引用
@article{arxiv.2011.00417,
title = {DebiNet: Debiasing Linear Models with Nonlinear Overparameterized Neural Networks},
author = {Shiyun Xu and Zhiqi Bu},
journal= {arXiv preprint arXiv:2011.00417},
year = {2021}
}