面向（物理信息）神经网络的张量压缩无反向传播训练
机器学习
2023-10-11 v2 人工智能
摘要
反向传播（BP）被广泛用于计算神经网络训练中的梯度。然而，由于缺少支持自动微分的硬件与软件资源，在边缘设备上难以实现 BP。这极大增加了设备端训练加速器的设计复杂度和上市时间。本文提出一个完全无 BP 的框架，仅需前向传播即可训练真实神经网络。我们的技术贡献有三方面。首先，我们提出一种张量压缩方差缩减方法，极大提升零阶（ZO）优化的可扩展性，使其能处理超出以往 ZO 方法能力的网络规模。其次，我们提出一种混合梯度评估方法以提升 ZO 训练效率。最后，我们通过提出稀疏网格方法在无 BP 情况下估计损失函数中的导数，将无 BP 训练框架扩展至物理信息神经网络（PINNs）。与标准一阶训练相比，我们的无 BP 训练在 MNIST 数据集上仅损失少许精度。我们还展示了训练 PINN 求解 20 维 Hamilton-Jacobi-Bellman PDE 的成功结果。这种内存高效且无 BP 的方法可作为近未来许多资源受限平台（如 FPGA、ASIC、微控制器和光子芯片）上设备端训练的基础。
引用
@article{arxiv.2308.09858,
title = {Tensor-Compressed Back-Propagation-Free Training for (Physics-Informed) Neural Networks},
author = {Yequan Zhao and Xinling Yu and Zhixiong Chen and Ziyue Liu and Sijia Liu and Zheng Zhang},
journal= {arXiv preprint arXiv:2308.09858},
year = {2023}
}