中文

通过张量化、无反向传播的光学 PINN 训练实现实时 fJ/MAC 偏微分方程求解器

机器学习 2024-01-05 v2 新兴技术 信号处理

摘要

在实际应用中,数值求解偏微分方程 (PDE) 通常需要巨大的计算时间、能量成本和硬件资源。这限制了它们在许多场景(例如自主系统、超音速流动)中的应用,这些场景能源预算有限且需要近实时响应。利用光计算,本文开发了一种用于物理信息神经网络 (PINN) 的片上训练框架,旨在以 fJ/MAC 的光子功耗和超低延迟求解高维 PDE。尽管光学神经网络具有超高速率,但由于 (1) 光子器件尺寸巨大,以及 (2) 缺乏可扩展的光学存储器件来存储反向传播 (BP) 的中间结果,在光芯片上训练 PINN 十分困难。为了实现现实可行的光学 PINN 训练,本文提出了一种可扩展的方法来避免 BP 过程。我们还采用张量压缩方法来提高光学 PINN 训练的收敛性和可扩展性。该训练框架专为可扩展推理加速的张量化光学神经网络 (TONN) 和用于原位优化的 MZI 相位域调优而设计。我们对 20 维 HJB PDE 的仿真结果表明,我们的光子加速器可以将 MZI 的数量减少 1.17×1031.17\times 10^3 倍,仅需 1.361.36 J 的能量和 1.151.15 s 的时间即可求解该方程。这是首个可应用于求解高维 PDE 的实际规模光学 PINN 训练框架。

关键词

引用

@article{arxiv.2401.00413,
  title  = {Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training},
  author = {Yequan Zhao and Xian Xiao and Xinling Yu and Ziyue Liu and Zhixiong Chen and Geza Kurczveil and Raymond G. Beausoleil and Zheng Zhang},
  journal= {arXiv preprint arXiv:2401.00413},
  year   = {2024}
}

备注

ML with New Compute Paradigms (MLNCP) at NeurIPS 2023