基于模型的神经网络的泛化与估计误差界
机器学习
2023-04-20 v1 机器学习
摘要
基于模型的神经网络为稀疏编码与压缩感知等各类任务提供了无与伦比的性能。由于与感知模型的紧密关联，这些网络具有可解释性并继承了问题的先验结构。实践中，基于模型的神经网络相较ReLU神经网络展现出更高的泛化能力。然而该现象此前未在理论上得到解释。本文利用包括全局与局部Rademacher复杂度的复杂度度量，为基于模型网络的泛化与估计误差提供上界。我们表明基于模型网络在稀疏恢复中的泛化能力优于常规ReLU网络，并推导出可构造具备保证高泛化能力之基于模型网络的实用设计准则。我们通过一系列实验证明，我们的理论洞见阐释了实践中经历的若干行为，包括ISTA与ADMM网络相较ReLU网络展现出更高泛化能力（尤其训练样本数较少时）这一事实。
引用
@article{arxiv.2304.09802,
title = {Generalization and Estimation Error Bounds for Model-based Neural Networks},
author = {Avner Shultzman and Eyar Azar and Miguel R. D. Rodrigues and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2304.09802},
year = {2023}
}