面向硬件储备池的布尔权重优化的收敛性与缩放律
机器学习
2023-05-16 v1 机器学习
摘要
神经网络的硬件实现是构建下一代高效且强大的人工智能方案的关键一步。除实现并行、高效且可扩展的硬件架构外，以采样高效方法优化系统极庞大的参数空间也至关重要。本文解析推导了用于优化随机循环连接神经网络（即储备池）读出层的坐标下降法的高效缩放律。我们证明收敛是指数级的，且随网络神经元数量线性缩放。我们的结果精确复现了概念验证实验中大规模光子储备池的收敛与缩放。因此，本工作为此类硬件网络中的优化奠定了坚实基础，并指明了利用神经网络幅度统计与权重更新规则来优化学习收敛速度的有前景的未来方向。
引用
@article{arxiv.2305.07908,
title = {Convergence and scaling of Boolean-weight optimization for hardware reservoirs},
author = {Louis Andreoli and Stéphane Chrétien and Xavier Porte and Daniel Brunner},
journal= {arXiv preprint arXiv:2305.07908},
year = {2023}
}
备注
Submitted to ECML-PKDD workshop Deep Learning meets Neuromorphic Hardware