脉冲神经网络规模与鲁棒性的多目标优化
神经与进化计算
2020-02-05 v1 新兴技术
机器学习
摘要
受大脑连接机制启发，神经形态计算架构在硅上实现脉冲神经网络(SNNs)的建模。因此，神经形态架构的设计与开发以制造能够执行控制与机器学习任务的小型低功耗芯片为目标。然而，所开发硬件的功耗在很大程度上取决于在芯片上评估的网络规模。此外，由于在硬件中扰动网络学习权重的电压与电流变化，在芯片上评估的已训练SNN的精度可能发生改变。尽管在硬件层面已努力最小化这些扰动，但基于软件的策略使部署网络更具鲁棒性可进一步缓解该问题。本工作中，我们研究两种神经形态架构实现中的脉冲神经网络，旨在减小其规模，同时增强其对硬件故障的鲁棒性。我们利用进化算法训练SNN，并提出多目标适应度函数以优化SNN的规模与鲁棒性。我们证明该策略可得到性能良好、规模小且对硬件故障更具鲁棒性的网络。
引用
@article{arxiv.2002.01406,
title = {Multi-Objective Optimization for Size and Resilience of Spiking Neural Networks},
author = {Mihaela Dimovska and Travis Johnston and Catherine D. Schuman and J. Parker Mitchell and Thomas E. Potok},
journal= {arXiv preprint arXiv:2002.01406},
year = {2020}
}
备注
Will appear in proceedings of 2019 IEEE 10th Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON). IEEE Catalog Number: CFP19G31-USB ISBN: 978-1-7281-3884-8 pg. 431-438