SpaRCe:通过稀疏表示改进储备池计算系统的学习
神经与进化计算
2021-08-19 v4 机器学习
机器学习
摘要
“稀疏”神经网络,即相对少数神经元或连接处于活跃状态,在机器学习与神经科学中均很常见。在机器学习中,“稀疏性”关联于使部分连接权值变小或为零的惩罚项,而在生物大脑中,稀疏性常由高放电阈值抑制神经元活动而产生。此处我们通过神经元特异的可学习活动阈值将稀疏性引入储备池计算网络,允许低阈值神经元参与决策,同时抑制高阈值神经元的信息。我们将此方法称为“SpaRCe”,其在不影响储备池动力学的前提下优化储备池的稀疏水平。读出权值与阈值通过在线梯度规则学习,以最小化网络输出的误差函数。阈值学习由两股相反力量平衡实现:通过停用冗余神经元降低储备池内神经元间相关性,同时增加参与正确决策的神经元活动。我们在分类问题上测试 SpaRCe,发现阈值学习相较标准储备池计算提升了性能。SpaRCe 缓解了灾难性遗忘问题,该问题在标准回声状态网络及一般循环神经网络中最为明显,其原因在于增加了网络中参与决策的特化任务神经元数量。
引用
@article{arxiv.1912.08124,
title = {SpaRCe: Improved Learning of Reservoir Computing Systems through Sparse Representations},
author = {Luca Manneschi and Andrew C. Lin and Eleni Vasilaki},
journal= {arXiv preprint arXiv:1912.08124},
year = {2021}
}