光子神经网络的双自适应训练
机器学习
2022-12-14 v1 人工智能
光学
摘要
光子神经网络（PNN）是一种卓越的模拟人工智能（AI）加速器，它利用光子而非电子进行计算，具有低延迟、高能量效率和高并行性的特点。然而，现有训练方法无法解决大规模 PNN 中系统误差的广泛累积，导致物理系统中模型性能显著下降。在此，我们提出双自适应训练（DAT），使 PNN 模型能够适应 substantial 系统误差并在部署期间保持性能。通过引入具有任务相似性联合优化的系统误差预测网络，DAT 在双反向传播训练期间实现了 PNN 数值模型与物理系统之间的高相似性映射以及高精度梯度计算。我们通过衍射 PNN 和基于干涉的 PNN 在图像分类任务上验证了 DAT 的有效性。DAT 在主要系统误差下成功训练了大规模 PNN，并保持了与无误差系统相当的分类准确率。结果进一步证明了其优于最先进的原位训练方法的性能。DAT 为构建大规模 PNN 以实现先进架构提供了关键支持，并可推广到其他具有模拟计算误差的 AI 系统类型。
引用
@article{arxiv.2212.06141,
title = {Dual adaptive training of photonic neural networks},
author = {Ziyang Zheng and Zhengyang Duan and Hang Chen and Rui Yang and Sheng Gao and Haiou Zhang and Hongkai Xiong and Xing Lin},
journal= {arXiv preprint arXiv:2212.06141},
year = {2022}
}
备注
31 pages, 11 figures