通过张量化、无反向传播的光学 PINN 训练实现实时 fJ/MAC 偏微分方程求解器
机器学习
2024-01-05 v2 新兴技术
信号处理
摘要
在实际应用中,数值求解偏微分方程 (PDE) 通常需要巨大的计算时间、能量成本和硬件资源。这限制了它们在许多场景(例如自主系统、超音速流动)中的应用,这些场景能源预算有限且需要近实时响应。利用光计算,本文开发了一种用于物理信息神经网络 (PINN) 的片上训练框架,旨在以 fJ/MAC 的光子功耗和超低延迟求解高维 PDE。尽管光学神经网络具有超高速率,但由于 (1) 光子器件尺寸巨大,以及 (2) 缺乏可扩展的光学存储器件来存储反向传播 (BP) 的中间结果,在光芯片上训练 PINN 十分困难。为了实现现实可行的光学 PINN 训练,本文提出了一种可扩展的方法来避免 BP 过程。我们还采用张量压缩方法来提高光学 PINN 训练的收敛性和可扩展性。该训练框架专为可扩展推理加速的张量化光学神经网络 (TONN) 和用于原位优化的 MZI 相位域调优而设计。我们对 20 维 HJB PDE 的仿真结果表明,我们的光子加速器可以将 MZI 的数量减少 倍,仅需 J 的能量和 s 的时间即可求解该方程。这是首个可应用于求解高维 PDE 的实际规模光学 PINN 训练框架。
引用
@article{arxiv.2401.00413,
title = {Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training},
author = {Yequan Zhao and Xian Xiao and Xinling Yu and Ziyue Liu and Zhixiong Chen and Geza Kurczveil and Raymond G. Beausoleil and Zheng Zhang},
journal= {arXiv preprint arXiv:2401.00413},
year = {2024}
}
备注
ML with New Compute Paradigms (MLNCP) at NeurIPS 2023