PINN 中的学习动力学：相变、总扩散与泛化
机器学习
2024-03-28 v1
摘要
我们通过梯度信噪比（gradient signal-to-noise ratio，SNR）的视角，探讨全连接神经网络的学习动力学，关注像 Adam 等一阶优化器在非凸目标上的行为。通过对信息瓶颈理论中漂移/扩散相位的分析，聚焦梯度均匀性，我们识别出一种称为“总扩散”（total diffusion）的第三相位，这一相位特征为学习率和均匀梯度的平衡，标志着 SNR 的骤增、样本空间中残差均匀以及最快的训练收敛。我们提出了一种基于残差的重新加权方案，以加速二次损失函数中的扩散，从而提升泛化性能。我们还探讨了信息压缩现象，指出在总扩散相位会发生显著的饱和引起的压缩，深层网络几乎不损失信息。基于在物理信息神经网络（physics-informed neural networks，PINNs）上的实验数据，强调了由于其基于偏微分方程的样本相互依赖性，梯度均匀性的重要性。我们的发现表明，认识相位转变可用于改进机器学习优化策略，以实现更好的泛化。
引用
@article{arxiv.2403.18494,
title = {Learning in PINNs: Phase transition, total diffusion, and generalization},
author = {Sokratis J. Anagnostopoulos and Juan Diego Toscano and Nikolaos Stergiopulos and George Em Karniadakis},
journal= {arXiv preprint arXiv:2403.18494},
year = {2024}
}