ReLU 激活函数在物理信息机器学习中的失效分析
机器学习
2025-12-16 v2
摘要
物理信息机器学习利用支配常微分和/或偏微分方程来训练神经网络以表示解场。与任何机器学习问题一样，激活函数的选择会影响物理信息训练所获得的解的特征和性能。若干研究在基准微分方程上比较了常见激活函数，一致发现修正线性单元（ReLU）被 Sigmoid、双曲正切和 Swish 等竞争激活函数所超越。在本工作中，我们诊断了 ReLU 在物理信息机器学习问题中表现不佳的原因。虽然众所周知 ReLU 的分段线性形式使其无法用于二阶微分方程，但我们证明 ReLU 即使在仅涉及一阶导数的变分问题中也会失效。我们将这一失效的原因归结为激活函数的二阶导数——该导数并非在损失函数 formulation 中，而是在训练过程中被计算。具体而言，我们证明 PyTorch 中的自动微分无法正确表征不连续场的导数，从而导致物理信息损失的梯度被错误指定，这解释了 ReLU 表现不佳的原因。
引用
@article{arxiv.2512.11184,
title = {On the failure of ReLU activation for physics-informed machine learning},
author = {Conor Rowan},
journal= {arXiv preprint arXiv:2512.11184},
year = {2025}
}