通过修改核谱控制宽神经网络的归纳偏置
机器学习
2024-03-21 v2
摘要
宽神经网络偏向于学习特定函数，这既影响梯度下降（GD）的收敛速率，也影响在有限训练时间内 GD 所能达到的函数。因此，极需能依据手头任务修改此偏置的方法。为此，我们引入修正谱核（MSKs），一类新颖的构造核族，可用于逼近具有期望特征值但无已知闭形式的核。我们利用宽神经网络与神经切线核之间的对偶性，提出一种预条件梯度下降方法，其改变了 GD 的轨迹。结果，这允许在不改变最终解的情况下实现多项式级、某些情况下指数级的训练加速。我们的方法计算高效且易于实现。
引用
@article{arxiv.2307.14531,
title = {Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum},
author = {Amnon Geifman and Daniel Barzilai and Ronen Basri and Meirav Galun},
journal= {arXiv preprint arXiv:2307.14531},
year = {2024}
}