用于直接反馈对齐训练深度神经网络的硅光子架构
机器学习
2022-11-30 v2 应用物理
光学
摘要
使用光子处理器执行神经网络推理操作已引起越来越多的兴趣；然而，这些网络目前使用标准数字电子学训练。在此，我们提出由 CMOS 兼容硅光子架构实现的片上神经网络训练，以利用大规模并行、高效和快速数据操作的潜力。我们的方案采用直接反馈对齐训练算法，其使用误差反馈而非误差反向传播训练神经网络，并可以每秒万亿次乘加(MAC)操作的速度运行，同时每次 MAC 操作消耗低于一皮焦耳。该光子架构利用微环谐振器阵列的并行化矩阵-向量乘法，沿单波导总线处理多通道模拟信号，以就地计算每个神经网络层的梯度向量。我们还使用 MNIST 数据集通过片上 MAC 操作结果实验演示训练深度神经网络。我们这种高效、超快神经网络训练的新方法展示了光子学作为执行 AI 应用的有前景平台。
引用
@article{arxiv.2111.06862,
title = {Silicon Photonic Architecture for Training Deep Neural Networks with Direct Feedback Alignment},
author = {Matthew J. Filipovich and Zhimu Guo and Mohammed Al-Qadasi and Bicky A. Marquez and Hugh D. Morison and Volker J. Sorger and Paul R. Prucnal and Sudip Shekhar and Bhavin J. Shastri},
journal= {arXiv preprint arXiv:2111.06862},
year = {2022}
}
备注
15 pages, 6 figures