基于演化策略和注意力剪枝的大规模光学神经网络高效训练
机器学习
2025-05-20 v1 光学
摘要
基于 MZ I 的块状光学神经网络 (BONN) 能够构建大规模网络模型，日益受到关注。然而，当前训练算法的鲁棒性尚不足够。此外，大规模 BONN 通常包含大量可训练参数，导致计算成本和功耗高企。本文通过剪枝矩阵块并直接优化种群中的个体，提出了一种用于大规模 BONN 的基于注意力剪枝的 on-chip 协方差矩阵适应演化策略 (CAP) 算法。计算结果表明，CAP 算法在 MNIST 和 Fashion-MNIST 数据集上分别可剪枝 60% 和 80%的参数，仅使性能下降 3.289% 和 4.693%。考虑到相移器中动态噪声的影响，我们提出的 CAP 算法（在 MNIST 数据集上使用劣质制造芯片和电气控制标准差为 0.5 时性能下降 22.327%，在 Fashion-MNIST 数据集上下降 24.019%）在鲁棒性上优于我们先前报告的块状 adjoint 训练算法（分别为 43.963% 和 41.074%）以及协方差矩阵适应演化策略（分别为 25.757% 和 32.871%）。此外，当剪枝 60%的参数时，CAP 算法在简化 MNIST 数据集的实验中实现了 88.5% 的准确率，与无噪声情景下的仿真结果 (92.1%) 相近。此外，我们既仿真又实验地表明，使用仅包含内部相移器的 MZ I 来构建 BONN 是降低系统面积和所需可训练参数数量的有效方法。值得注意的是，我们提出的 CAP 算法在更大规模的网络模型和更复杂的任务方面表现出极大的潜力。
引用
@article{arxiv.2505.12906,
title = {Efficient training for large-scale optical neural network using an evolutionary strategy and attention pruning},
author = {Zhiwei Yang and Zeyang Fan and Yihang Lai and Qi Chen and Tian Zhang and Jian Dai and Kun Xu},
journal= {arXiv preprint arXiv:2505.12906},
year = {2025}
}