尖峰作为正则化器
神经与进化计算
2016-11-23 v1 机器学习
机器学习
摘要
我们提出一种基于置信度的单层前馈学习算法SPIRAL(Spike Regularized Adaptive Learning,尖峰正则化自适应学习),其依赖于激活尖峰的编码。我们基于置信度估计和相对于先前活动的激活偏移自适应更新权重向量。我们按比例于条目级置信度和权重特定支持来正则化更新,松散地受神经生理学观察启发,即高尖峰率有时伴随低时间精度。我们的实验表明,新学习算法SPIRAL比平均感知机和AROW都更鲁棒且更不易过拟合。
引用
@article{arxiv.1611.06245,
title = {Spikes as regularizers},
author = {Anders Søgaard},
journal= {arXiv preprint arXiv:1611.06245},
year = {2016}
}
备注
Computing with Spikes at NIPS 2016