修正 NTK：从神经网络线性化到精确凸规划
机器学习
2023-09-27 v1 机器学习
摘要
近来，深度神经网络的理论分析广泛聚焦于两个方向：1）在无限隐层宽度和无穷小学习率（亦称梯度流）极限下，通过神经切线核（NTK）对 SGD 训练神经网络提供洞见；2）通过 ReLU 网络的锥约束凸重构全局优化正则化训练目标。后一研究方向还给出了 ReLU 网络的一种替代表述，称为门控 ReLU 网络（gated ReLU network），可通过高效的无约束凸规划全局优化。本工作中，我们将该门控 ReLU 网络的凸规划解释为一个具有加权数据掩蔽特征映射的多核学习（MKL）模型，并建立其与 NTK 的联系。具体而言，我们证明对于不依赖于学习目标的特定掩模权重选择，该核等价于门控 ReLU 网络在训练数据上的 NTK。这种不依赖于目标的结果之一是，NTK 在训练集上的表现不可能优于最优 MKL 核。通过使用迭代重加权，我们改进由 NTK 诱导的权重，从而获得等价于门控 ReLU 网络精确凸重构解的最优 MKL 核。我们还提供了若干佐证理论的数值模拟。此外，我们通过 group lasso 的一致性结果对所得最优核的预测误差进行了分析。
引用
@article{arxiv.2309.15096,
title = {Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs},
author = {Rajat Vadiraj Dwaraknath and Tolga Ergen and Mert Pilanci},
journal= {arXiv preprint arXiv:2309.15096},
year = {2023}
}
备注
Accepted to Neurips 2023