正则化、早停与梦境:一种应对泛化与过拟合的类 Hopfield 设置
机器学习
2024-02-21 v2 无序系统与神经网络
摘要
在这项工作中,我们从机器学习视角研究吸引子神经网络:通过对正则化损失函数施加梯度下降来寻找最优网络参数。在此框架下,最优神经元交互矩阵最终对应一类矩阵,该类矩阵由经反复反学习协议修正的赫布(Hebbian)核给出。值得注意的是,这种反学习的程度被证明与损失函数的正则化超参数及训练时间有关。因此,我们可以设计以避免过拟合为目标的策略,将其表述为正则化与早停调优。我们也研究了这些吸引子网络的泛化能力:对随机合成数据集得到了解析结果,随后数值实验证实了所浮现的图景,并凸显出随着数据集参数变化而存在的若干 regime(即过拟合、失败与成功)。
引用
@article{arxiv.2308.01421,
title = {Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting},
author = {Elena Agliari and Francesco Alemanno and Miriam Aquaro and Alberto Fachechi},
journal= {arXiv preprint arXiv:2308.01421},
year = {2024}
}
备注
29 pages, 10 figures, 4 appendices