仿退火训练的光学神经网络：三值权重架构
新兴技术
2024-10-03 v2
摘要
人工神经网络（ANN）代表了一种根本上基于连接主义且分布式的计算方法，与采用 von Neumann 架构的经典计算机截然不同。这重新激活了对新型非常规硬件的研究兴趣，以更高效地实现 ANN 的实现，而非在传统机器上进行仿真。在充分发挥这类新一代 ANN 的潜力的同时，需设计考虑硬件限制与缺陷的优化算法。光子学尤其值得期待，因其具备可扩展性、高速、低能耗以及并行信息处理能力。然而，充分实现具有原位学习功能的自主光学神经网络（ONN）仍寥寥无几。本文提出了一种三值权重架构的高维半导体激光器基 ONN。我们引入一种简单方法以实现三值权重，大幅提升了 ONN 的信息处理能力。此外，我们设计了一种兼容布尔权重与三值权重的原位优化算法，并对该算法针对两种任务的超参数进行了详尽研究。我们新颖的算法在收敛速度与性能方面均带来了显著提升。最后，我们对 ONN 在长期推理稳定性进行了实验表征，发现其在超过 10 小时内稳定性超过 99%，从而解决了该领域的一个主要关切。我们的工作在受限硬件资源下的原位学习背景下尤为重要，尤其是由于最小化辅助硬件功耗对于保留非 von Neumann ANN 实现所实现的效率优势至关重要。
引用
@article{arxiv.2409.01042,
title = {Annealing-inspired training of an optical neural network with ternary weights},
author = {Anas Skalli and Mirko Goldmann and Nasibeh Haghighi and Stephan Reitzenstein and James A. Lott and Daniel Brunner},
journal= {arXiv preprint arXiv:2409.01042},
year = {2024}
}