每次乘法消耗低于 1 个光子的光学神经网络

深度学习已迅速成为科学和商业活动中广泛使用的工具。过去几年中，在从游戏博弈、自然语言翻译到医学图像分析等多样化领域中，深度学习超越人类性能的里程碑不断达成。然而，在电子处理器上训练和运行深度神经网络的高能耗正日益阻碍其持续进展。光学神经网络作为深度学习的一种替代物理平台受到关注，因为理论上预测其可从根本上实现比部署在传统数字计算机上的神经网络更高的能量效率。在此，我们实验演示了一种光学神经网络，在手写数字分类上以每次权重乘法约 3.2 个探测光子实现 99% 准确率，以每次权重乘法约 0.64 个光子（约 $2.4 \times 10^{-19}$ J 光学能量）实现约 90% 准确率。该性能通过使用定制自由空间光学处理器实现，该处理器以大规模并行方式执行矩阵-向量乘法，最多可同时执行约 50 万次标量（权重）乘法。利用商用光学组件和标准神经网络训练方法，我们证明了光学神经网络可在极低光功率下接近标准量子极限运行且仍保持高准确率。我们的结果为低光功率运行提供了原理验证，并且通过精心的系统设计（包括用于数据存储与控制的外围电子器件），开辟了实现每次标量乘法仅需 $10^{-16}$ J 总能量的光学处理器之路——这比当前数字处理器高效数个数量级。