利用混沌瞬态加速人工神经网络训练
机器学习
2026-03-10 v2 无序系统与神经网络
混沌动力学
数据分析、统计与概率
摘要
针对监督学习任务,传统的人工神经网络优化算法通常是梯度下降(GD)等类释然型动力学。我们探索当学习率取非常大值时,神经网络训练轨迹的动力学。我们表明,在学习率的一特定取值范围内,GD 优化从纯粹的释然型算法转向探索-释然平衡的 regime,因为神经网络仍能够学习,但轨迹表现出对初始条件的敏感性——即网络最大 Lyapunov 指数为正。有趣的是,在该学习率区域,实现测试集上可接受准确率所需的特征训练时间恰好达到最小值,进一步表明可通过定位于混沌 onset 处来加速人工神经网络训练。我们的结果——最初用于 MNIST 分类任务——在各种监督学习任务、网络结构(包括浅层和深层多层感知器以及卷积神经网络)以及其他超参数(不同的激活函数和权重正则化)下都具有相同质感,并展示了暂态混沌动力学在人工神经网络训练中的涌现、建设性作用。
关键词
引用
@article{arxiv.2506.08523,
title = {Leveraging chaotic transients in the training of artificial neural networks},
author = {Pedro Jiménez-González and Miguel C. Soriano and Lucas Lacasa},
journal= {arXiv preprint arXiv:2506.08523},
year = {2026}
}