基于大规模 PINN 先验数据的 AI 科学家：用于解解热扩散-反应方程的 MaD-Scientist
机器学习
2024-10-10 v1 人工智能
摘要
大型语言模型(LLM)如 ChatGPT 表明，即使使用噪声先验数据，仍能通过上下文学习(ICL)和预训练技术有效地对新任务进行泛化。这激发我们探索是否可以将类似方法应用于科学基础模型(SFMs)。我们的方法结构如下：(i) 我们收集基于 PINN 的低成本物理信息神经网络(PINN)近似先验数据，形式为通过数学字典的任意线性组合构建的偏微分方程(PDE)的解；(ii) 我们利用带有自注意力和交叉注意力机制的 Transformer 架构，在无需了解支配方程的情况下预测 PDE 解；(iii) 我们提供了针对一维扩散-扩散-反应方程的实验证据，表明即使使用近似先验数据，预训练仍然稳健，仅对测试准确率有微小影响。值得注意的是，这一发现为使用现实的、低成本数据(而非或除了与之结合的高成本数值数据)来预训练 SFMs 开辟了道路。这些结果支持了类似 LLM 的 SFMs 能像 LLM 那样提升的猜想，即使对几乎不可能完全清洗从互联网爬取的大量句子集合也能实现良好效果。
引用
@article{arxiv.2410.06442,
title = {MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data},
author = {Mingu Kang and Dongseok Lee and Woojin Cho and Jaehyeon Park and Kookjin Lee and Anthony Gruber and Youngjoon Hong and Noseong Park},
journal= {arXiv preprint arXiv:2410.06442},
year = {2024}
}