学习以同步，同步以学习
机器学习
2021-09-01 v3 神经与进化计算
混沌动力学
摘要
近年来，机器学习界对研究训练过程与机器学习模型动力学方面的兴趣持续增长。在循环神经网络中，特别令人感兴趣的是储备池计算（RC）范式，其以概念简单和快速训练方案为特征。然而，RC运作的指导原则仅被部分理解。在本工作中，我们分析了在训练RC以解决通用任务时广义同步（GS）所起的作用。具体而言，我们展示GS如何使储备池将生成输入信号的系统正确编码进其动力学中。我们还讨论了在此方法中学习可行的必要与充分条件。此外，我们探究了遍历性在此过程中扮演的角色，展示其存在如何使学习结果适用于多条输入轨迹。最后，我们表明GS的满足可通过互假近邻指数来度量，这使得理论推导对实践者有效。
引用
@article{arxiv.2010.02860,
title = {Learn to Synchronize, Synchronize to Learn},
author = {Pietro Verzelli and Cesare Alippi and Lorenzo Livi},
journal= {arXiv preprint arXiv:2010.02860},
year = {2021}
}