纳米光子神经网络中用于深度学习的实验实现原位反向传播
新兴技术
2023-05-31 v1 机器学习
光学
摘要
神经网络是广泛应用于许多科学学科和商业领域的模型,范围从边缘计算和传感到数据中心的大规模信号处理。训练此类网络最高效且最成熟的方法是反向传播,即反向模式自动微分。为了应对人工智能领域指数级增长的能源预算,最近人们对神经网络的模拟实现产生了兴趣,特别是纳米光子神经网络,但目前尚无模拟反向传播的演示。我们设计了可大规模制造的硅光子神经网络,该网络将我们定制设计的“光子网格”加速器与数字实现的非线性交替级联。这些可重构光子网格通过设置物理电压来调谐通过集成马赫-曾德尔干涉仪网络传播的光学编码输入数据的干涉,从而对计算密集型任意矩阵乘法进行编程。在此,我们使用封装的光子芯片,首次演示了原位反向传播,以解决分类任务,并评估了一种新协议,将整个梯度测量和物理设备电压的更新保持在模拟域中,改进了过去的理论方案。我们的方法是通过对典型光子网格引入三项改变而实现的:(1)在光学“光栅抽头”监测器处进行测量,(2)通过光纤开关自动化的双向光信号传播,以及(3)光振幅和相位的通用生成与读出。训练后,即使存在系统误差,我们的分类准确率也与数字等效方案相似。我们的发现为光子加速人工智能提出了一种全新的训练范式,该范式完全基于流行的反向传播技术的物理模拟。
引用
@article{arxiv.2205.08501,
title = {Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks},
author = {Sunil Pai and Zhanghao Sun and Tyler W. Hughes and Taewon Park and Ben Bartlett and Ian A. D. Williamson and Momchil Minkov and Maziyar Milanizadeh and Nathnael Abebe and Francesco Morichetti and Andrea Melloni and Shanhui Fan and Olav Solgaard and David A. B. Miller},
journal= {arXiv preprint arXiv:2205.08501},
year = {2023}
}
备注
23 pages, 10 figures