光谱信息多阶段神经网络:机器精度的多尺度函数逼近器
机器学习
2024-07-25 v1
摘要
深度学习框架已成为解决涡流等复杂科学问题的强大工具。然而,现有的科学机器学习方法在面临需要在科学语境下达到极高精度的复杂多尺度动力学系统时,仍存在难以拟合的局限。我们提出使用具有光谱偏置初始化的新型多阶段神经网络方法,通过拟合前一阶段的残差,利用神经网络的光谱偏置捕获残差中的高频特征,成功克服了神经网络的光谱偏置。这一方法使神经网络能够将目标函数拟合到双精度浮点机器精度 。
引用
@article{arxiv.2407.17213,
title = {Spectrum-Informed Multistage Neural Networks: Multiscale Function Approximators of Machine Precision},
author = {Jakin Ng and Yongji Wang and Ching-Yao Lai},
journal= {arXiv preprint arXiv:2407.17213},
year = {2024}
}
备注
8 pages, 3 figures, ICML 2024 workshop (AI for Science: Scaling in AI for Scientific Discovery)