利用锐度感知训练以可迁移鲁棒性完善不完美的物理神经网络

AI 模型在科学和工程中至关重要，但最近的进展正在突破传统数字硬件的极限。为了解决这些局限性，利用物理基底进行计算的物理神经网络引起了越来越多的关注。然而，为 PNN 开发有效的训练方法仍然是一个重大挑战。当前的方法，无论是在线训练还是离线训练，都存在显著的精度损失。离线训练受到不精确建模的阻碍，而在线训练产生的特定设备模型由于制造差异无法迁移到其他设备。这两种方法都面临部署后扰动的挑战，例如热漂移或对准误差，这些扰动会使训练好的模型失效并需要重新训练。在这里，我们通过一种称为锐度感知训练（SAT）的新技术解决了离线和在线训练的挑战，在该技术中我们创新性地利用损失景观的几何结构来解决物理系统训练中的问题。即使模型不精确，SAT 也能使用高效的反向传播算法进行精确训练。尽管存在建模和制造误差，通过 SAT 离线训练的 PNN 甚至优于在线训练的 PNN。SAT 还通过实现模型在设备之间的可靠迁移，克服了在线训练的局限性。最后，SAT 对部署后的扰动具有高度鲁棒性，允许 PNN 在扰动下无需重新训练即可持续准确运行。我们在三种类型的 PNN 上展示了 SAT，表明无论模型是否明确已知，它都具有普遍适用性。这项工作提供了一种变革性且高效的 PNN 训练方法，解决了模拟计算中的关键挑战，并实现了现实世界的部署。