细分层光学神经网络学习的加速方法
机器学习
2021-09-07 v1 光学
量子物理
机器学习
摘要
光学神经网络(ONN)因其高速与低功耗运行而成为一种有前景的系统。其线性单元在光学模拟电路中执行输入向量与权重矩阵的乘法。其中，具有可编程马赫-曾德尔干涉仪(MZI)多层结构的电路能以有限数量的MZI作为其权重矩阵实现特定类的酉矩阵。该电路可有效平衡可编程MZI数量与ONN性能。然而，利用机器学习平台配备的常规自动微分(AD)学习该电路的MZI参数耗时巨大。为解决该耗时问题，我们提出一种学习MZI参数的加速方法。我们利用Wirtinger导数与链式法则为MZI创建定制的复值导数。它们被集成到我们新开发的C++实现的函数模块中，以在多层结构中集体计算其值。我们的方法简单、快速且通用，并与常规AD兼容。我们证明，在具有基于MZI隐藏单元的复值循环神经网络中执行逐像素MNIST任务时，我们的方法比常规AD快20倍。
引用
@article{arxiv.2109.01731,
title = {Acceleration Method for Learning Fine-Layered Optical Neural Networks},
author = {Kazuo Aoyama and Hiroshi Sawada},
journal= {arXiv preprint arXiv:2109.01731},
year = {2021}
}
备注
9 pages, 9 figures