流体相关偏微分方程的机器学习中弱基线和报告偏差导致乐观主义过度
数值分析
2024-10-16 v1 机器学习
数值分析
流体动力学
摘要
机器学习 (ML) 在计算物理学中一个最有前景的应用是加速求解偏微分方程 (PDEs)。ML 基于的 PDE 求解器的关键目标是输出足够准确的解，速度快于标准数值方法，而后者用作基准比较。我们首先对 ML-for-PDE 求解文献进行系统性综述。对于使用 ML 求解流体相关 PDE 并声称超过标准数值方法的文章，我们确定 79%（60/76）与一个弱基准进行比较。其次，我们发现报告偏差，尤其是结果报告偏差和出版偏差，十分普遍。我们得出结论，ML-for-PDE 求解研究是乐观主义过度的：弱基线导致结果过于积极，而报告偏差导致负面结果的报告不足。这些问题在很大程度上是由类似过去可重复性危机的因素所致：研究人员的自由度和对积极结果的偏好。我们呼吁进行自下而上文化变革以最小化受偏差的报告，以及旨在减少此类做法的自上而下的结构性改革。
引用
@article{arxiv.2407.07218,
title = {Weak baselines and reporting biases lead to overoptimism in machine learning for fluid-related partial differential equations},
author = {Nick McGreivy and Ammar Hakim},
journal= {arXiv preprint arXiv:2407.07218},
year = {2024}
}