光神经网络的抗噪设计
神经与进化计算
2023-08-14 v1 信号处理
应用物理
摘要
所有模拟信号处理从根本上都受噪声影响，现代光神经网络（ONNs）的实现也是如此。因此，为减轻 ONNs 中的噪声，我们提出两种由给定（可能已训练）待实现神经网络（NN）构建的设计。两种设计均能使所得 ONNs 输出接近期望的 NN。为确立后者，我们从数学上分析这些设计。具体而言，我们为第一种设计研究了一个概率框架，证明该设计正确，即对于任意具有 Lipschitz 连续激活函数的前馈 NN，可构造产生任意接近原始输出的 ONN。由此第一种设计构造的 ONNs 也继承了 NNs 的通用逼近性质。对于第二种设计，我们将分析限制于具有线性激活函数的 NNs，并使用精确公式刻画 ONNs 的输出分布。最后，我们报告了基于 LeNet ONNs 的数值实验，以深入了解这些设计中达到特定精度提升所需的组件数量。我们具体研究了噪声作为 ONN 深度函数的效应。结果表明，在实践中，以第一种或第二种设计的方式仅添加少量组件即可预期显著提高 ONNs 的精度。
引用
@article{arxiv.2308.06182,
title = {Noise-Resilient Designs for Optical Neural Networks},
author = {Gianluca Kosmella and Ripalta Stabile and Jaron Sanders},
journal= {arXiv preprint arXiv:2308.06182},
year = {2023}
}
备注
17 pages, 6 figures