内部表征的质量塑造反馈神经网络中的学习表现
神经元与认知
2021-03-03 v1
摘要
复杂生物系统的一个基本特征是其与环境形成反馈相互作用的能力。研究此类相互作用的一个突出模型是储备池计算,其中学习作用于低维瓶颈。尽管该学习方案简单,但有助于或阻碍储备池网络训练成功的因素总体上尚不清楚。在本工作中,我们研究经训练以生成正弦信号的非线性反馈网络,并分析内部网络动力学与目标特性之间的相互作用如何塑造学习表现。通过对线性化网络进行精确数学分析,我们预测当目标以最优的中间频率表征时学习表现最大化,该频率随内部储备池连接强度的增加而单调下降。在最优频率下,目标信号的储备池表征是高维、去同步的,因而对噪声具有最大鲁棒性。我们表明我们的预测成功捕捉了非线性网络中表现的定性行为。此外,我们发现内部表征与表现之间的关系可在训练后的非线性网络中进一步利用,以解释无线性对应物的行为。我们的结果表明,学习成功的一个主要决定因素是目标内部表征的质量,而这反过来由控制内部网络的参数与定义任务的参数之间的相互作用所塑造。
引用
@article{arxiv.2011.06066,
title = {Quality of internal representation shapes learning performance in feedback neural networks},
author = {Lee Susman and Francesca Mastrogiuseppe and Naama Brenner and Omri Barak},
journal= {arXiv preprint arXiv:2011.06066},
year = {2021}
}
备注
37 pages, 11 figures; including appendices