利用李雅普诺夫指数设计深度神经网络
机器学习
2024-10-10 v1 人工智能
摘要
训练大型深度神经网络需要大量资源。本研究探讨了李雅普诺夫指数是否可以通过辅助超参数选择来加速这一过程。为了研究这一点，我使用在隐藏层中具有不同激活函数的神经网络来构建一个优化问题。通过使用不同的随机种子初始化模型权重，我在对这些模型权重执行传统梯度下降的同时计算李雅普诺夫指数。研究结果表明，学习率的变化可以引起模型权重的混沌变化。我还表明，具有更负李雅普诺夫指数的激活函数表现出更好的收敛特性。此外，该研究还证明，李雅普诺夫指数可用于为深度神经网络选择有效的初始模型权重，从而可能增强优化过程。
引用
@article{arxiv.2410.05988,
title = {Utilizing Lyapunov Exponents in designing deep neural networks},
author = {Tirthankar Mittra},
journal= {arXiv preprint arXiv:2410.05988},
year = {2024}
}