具有有界权值范数的多通道线性卷积网络的归纳偏置
机器学习
2022-07-12 v4 机器学习
摘要
我们对多通道卷积神经网络在线性激活下通过最小化权值 范数所产生的归纳偏置给出了函数空间刻画，并在使用梯度下降训练的 ReLU 网络上对我们的假设进行了实证检验。我们将函数空间中的诱导正则化子定义为实现一个函数所需的网络权值的最小 范数。对于具有 个输出通道和核大小 的两层线性卷积网络，我们展示如下：(a) 若网络输入为单通道，则对任意 的诱导正则化子与输出通道数 无关。此外，我们推导出该正则化子是由半定规划 (SDP) 给出的范数。(b) 相反，对于多通道输入，仅为实现所有矩阵值线性函数就可能需要多个输出通道，因此归纳偏置确实依赖于 。然而，对于足够大的 ，诱导正则化子再次由与 无关的 SDP 给出。特别地，对于 和 （输入维度），诱导正则化子分别以闭式给出为线性预测子傅里叶系数的核范数和 组稀疏范数。我们通过 MNIST 和 CIFAR-10 数据集上的实验，研究了我们的理论结果对梯度下降在线性与 ReLU 网络上隐式正则化的更广泛适用性。
引用
@article{arxiv.2102.12238,
title = {Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm},
author = {Meena Jagadeesan and Ilya Razenshteyn and Suriya Gunasekar},
journal= {arXiv preprint arXiv:2102.12238},
year = {2022}
}
备注
Appeared at COLT 2022