用于基于神经网络回归的高效核代理

尽管深度神经网络 (DNNs) 在各类学习任务中前景广阔，从业者迄今仍缺乏对其局限性的理论理解。部分原因在于无法确定所学函数的闭式表达，致使研究其在未知数据集上的泛化性质更为困难。近期工作表明，无限宽极限下的随机初始化 DNNs 收敛于依赖具已知闭式表达的神经正切核 (NTK) 的核机器。这些结果暗示且实验证据佐证，经验核机器亦可充当有限宽 DNNs 的代理。然而，组装完整 NTK 的高计算成本使该方法在实践中不可行，催生了对低成本近似的需求。在当前工作中，我们研究了共轭核 (CK) 的性能，它是 NTK 的一种高效近似，被观察到产生相当近似的结果。对于光滑函数回归与逻辑回归分类问题，我们表明 CK 性能仅略逊于 NTK，且在某些情形下更优。具体而言，我们建立了相对测试损失的界，以数值测试验证，并确认核的正则性为性能的关键决定因素。除为使用 CK 替代 NTK 提供理论依据外，我们的框架给出了一种低成本提升 DNN 精度的方案。我们在基础模型 GPT-2 上通过比较常规方法与我们的方案在分类任务上的表现予以演示。我们还展示了该方法如何用于改进物理信息算子网络回归训练及卷积神经网络视觉分类训练。