超越过参数化机制的神经网络新型核模型与精确表示理论
机器学习
2024-05-27 v1 人工智能
机器学习
摘要
本文提出了两种神经网络模型及其训练方法，适用于任意宽度、深度和拓扑结构的神经网络，仅假设有限能量的神经激活；以及一种基于矩阵值核的神经网络新型表示理论。第一个模型是精确（未近似）且全局的，将神经网络视为再生核巴拿赫空间（RKBS）中的元素；我们利用该模型给出了Rademacher复杂度的紧界。第二个模型是精确且局部的，将权重和偏置的有界变化（即训练步骤）导致的神经网络函数变化表示为再生核希尔伯特空间（RKHS）中的局部内在神经核（LiNK）。该局部模型通过网络自适应的Rademacher复杂度紧界提供了对模型自适应的洞察。我们还证明了神经正切核（NTK）是LiNK核的一阶近似。最后，注意到LiNK由于技术原因不提供表示理论，我们提出了一种基于局部外在神经核（LeNK）的逐层神经网络无正则化梯度下降训练的精确新型表示理论。该表示理论揭示了高阶统计量在神经网络训练中的作用以及核演化对神经网络核模型的影响。本文以（a）前馈ReLU网络和（b）残差网络（ResNet）作为说明性示例。
引用
@article{arxiv.2405.15254,
title = {Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime},
author = {Alistair Shilton and Sunil Gupta and Santu Rana and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2405.15254},
year = {2024}
}