揭示SciML中的多制式模式：不同失效模式与制式特定优化
机器学习
2026-05-29 v1 人工智能
计算物理
摘要
在不同超参数设置下训练的神经网络可落入不同的训练"制式"，在同一制式内表现一致，跨制式则呈现定性差异。本文通过制式感知诊断框架研究科学机器学习（SciML）模型的此类多制式行为，该框架联合分析性能、训练动力学及损失景观几何。我们识别出三个关键发现：(i) 在许多标准SciML模型、不同约束执行和各种优化器设计中，都出现一致的三制式结构；(ii) 优化效果制式特定，对所有制式都表现良好的单一方法不存在；(iii) SciML模型可呈现细粒度失效模式，这些模式可挑战对标准损失景观指标的常规解释。我们的结果提供了一种建立统一、任务无关视角以理解SciML中失效模式的方法，以及为改进鲁棒性提供制式感知指导的途径。我们在广泛使用的SciML模型上验证了这些发现，包括物理信息神经网络、神经算子和神经常微分方程，测试基准涵盖代表性的常微分方程和偏微分方程。
引用
@article{arxiv.2605.29153,
title = {Unveiling Multi-regime Patterns in SciML: Distinct Failure Modes and Regime-specific Optimization},
author = {Yuxin Wang and Yuanzhe Hu and Xiaokun Zhong and Xiaopeng Wang and Haiquan Lu and Tianyu Pang and Michael W. Mahoney and Yujun Yan and Pu Ren and Yaoqing Yang},
journal= {arXiv preprint arXiv:2605.29153},
year = {2026}
}
备注
Accepted by ICML 2026