多任务物理信息机器学习（PIML）方法的 Kolmogorov n-宽度：迈向鲁棒的评估指标
机器学习
2024-09-05 v2 计算物理
摘要
物理信息机器学习（PIML）作为求解偏微分方程（PDE）的手段，在计算科学与工程（CS&E）领域引起了广泛关注。该主题涵盖了一系列旨在求解单个或一组 PDE 问题的方法与模型，称为多任务学习。PIML 的特点在于求解 PDE 问题时，将物理定律结合到机器学习模型的训练过程中，以替代对大量数据的依赖。尽管这类方法总体上取得了成功，但对其进行深入分析、基准测试以及方法间的横向比较仍然极其困难。我们以 Kolmogorov n-宽度作为衡量逼近函数有效性的指标，审慎地将其应用于各种多任务 PIML 架构的比较中。我们计算了精度下界，并分析了模型在各类 PDE 问题上学习到的基函数。这是首个用于比较多任务 PIML 架构的客观指标，有助于消除因选择性采样和过拟合带来的模型验证不确定性。我们还指出了模型架构的改进方向，例如激活函数的选择，这会极大影响模型在“最坏情况”下的泛化能力，而这在报告特定任务误差时是无法观察到的。我们还通过正则化将该指标引入优化过程，从而提升了模型在多任务 PDE 问题上的泛化能力。
引用
@article{arxiv.2402.11126,
title = {Kolmogorov n-Widths for Multitask Physics-Informed Machine Learning (PIML) Methods: Towards Robust Metrics},
author = {Michael Penwarden and Houman Owhadi and Robert M. Kirby},
journal= {arXiv preprint arXiv:2402.11126},
year = {2024}
}