模拟硬件神经网络中噪声的基本特性
新兴技术
2020-06-29 v1 神经与进化计算
摘要
我们研究并分析了递归以及深度多层网络中噪声传播的基本特性。我们研究的主要对象是模拟硬件中的神经网络，但该方法论可为一般网络提供见解。所研究的系统由含噪线性节点组成，我们考察网络输出端的信噪比，它是此类系统计算精度的上限。我们考虑加性和乘性噪声，其可纯为局部的，也可在神经元群体间相关。这涵盖了硬件网络的主要内部扰动，且噪声幅度取自物理实现的递归神经网络，因此对应于真实系统。解析解与数值数据异常吻合，得以清晰识别噪声管理中最关键的组件与方面。聚焦线性节点隔离了网络连接的影响，使我们能推导缓解噪声的策略。我们的工作是解决模拟神经网络此方面问题的起点，其结果指出了极易受影响的敏感点，同时突显了此类计算系统的鲁棒性。
引用
@article{arxiv.1907.09002,
title = {Fundamental aspects of noise in analog-hardware neural networks},
author = {Nadezhda Semenova and Xavier Porte and Louis Andreoli and Maxime Jacquot and Laurent Larger and Daniel Brunner},
journal= {arXiv preprint arXiv:1907.09002},
year = {2020}
}