通过一种新型仿生算法学习储备池计算中的稀疏性
机器学习
2019-07-22 v1 机器学习
摘要
蘑菇体是果蝇及昆虫中表征习得嗅觉刺激的关键网络。Kenyon 细胞（蘑菇体中的主神经元）的稀疏活动在不同气味的习得分类中起关键作用。在果蝇这一具体情形中，网络的稀疏性由称为 APL 的抑制性反馈神经元以及 Kenyon 细胞固有的高发放阈值所强制实现。本工作中，我们受果蝇脑启发，提出一种能够通过对节点发放阈值进行调节来优化储备池稀疏度水平的新型机器学习算法。稀疏性仅应用于读出层，以不改变储备池的时间尺度并允许导出针对发放阈值的单层更新规则。所提算法结合了通过梯度下降学习神经元特异性稀疏阈值与通过马尔可夫链蒙特卡洛方法学习全局稀疏阈值。在两个示例任务上，所提模型优于标准梯度下降（其仅限于储备池的读出权重）。它展示了习得的稀疏表征如何带来更好的分类性能、记忆能力与收敛时间。
引用
@article{arxiv.1907.08600,
title = {Learning sparsity in reservoir computing through a novel bio-inspired algorithm},
author = {Luca Manneschi and Andrew C. Lin and Eleni Vasilaki},
journal= {arXiv preprint arXiv:1907.08600},
year = {2019}
}