面向神经计算电路的神经网络：噪声与激活函数非均匀性容忍度的计算研究
神经与进化计算
2025-11-18 v1 机器学习
摘要
专用模拟神经计算电路为高吞吐量、低功耗消耗的机器学习（ML）应用提供了前景，也适用于那些实施数字计算机不便的场景（如偏远地点、小型移动和自主设备、极端环境等）。然而，实现于此类电路中的神经网络（NN）必须应对电路噪声以及由于电路元件（如实现神经元的晶体管或二极管）性能特性离散性导致的神经元激活函数（NAF）形状非均匀问题。我们对电路噪声和NAF均匀性对NN架构和训练方案的影响进行了计算研究。我们聚焦于一个需要高吞吐量ML的应用：材料信息学，其中包括对比最低能异构体形成能的形成能预测、双卫石材料的形成能和带隙，以及来自QM9数据集的分子零点振动能。我们发现，NN通常具有较低的噪声容忍度，模型精度随噪声水平快速下降。单隐藏层NN以及尺寸超过最佳值的NN稍微具有更高的噪声容忍度。表现较少过拟合（不一定是最低的测试集误差）的模型更具噪声容忍度。重要的是，我们证明了激活函数非均匀性的影响可以通过使用实际实现的NAF形状重新训练NN来缓解。
引用
@article{arxiv.2510.17849,
title = {Neural networks for neurocomputing circuits: a computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties},
author = {Ye min Thant and Methawee Nukunudompanich and Chu-Chen Chueh and Manabu Ihara and Sergei Manzhos},
journal= {arXiv preprint arXiv:2510.17849},
year = {2025}
}