混沌临界的李亚普诺夫学习

在深度学习系统中处理制度转移和非平稳时间序列是一个重大挑战。在在线学习情况下，当新信息被引入时，可能破坏先前存储的数据并改变模型的整体范式，尤其是在非平稳数据源下。这使得神经系统迫切需要快速适应新的范式，同时保留与整体问题相关的关键过去知识。在本文中，我们提出一种名为\textit{李亚普诺夫学习}的神经网络新训练算法。该方法利用非线性混沌动力学系统的特性，为潜在的制度转移做准备。drawing inspiration from Stuart Kauffman's Adjacent Possible theory，我们利用解空间中未被探索的局部区域实现灵活适应。神经网络被设计为在混沌边缘运行，其中最大李亚普诺夫指数——表明系统对小扰动敏感性的指标——随时间演化为零。我们的做法在涉及非平稳系统制度转移的实验中表现出有效且显著的改进。特别是，我们训练一个神经网络应对 Lorenz 混沌系统参数突然变化。采用李亚普诺夫学习的神经网络相较于常规训练显著优于，损失比提升约为96%。