HEI:面向多尺度问题的显式-隐式混合学习
数值分析
2022-08-17 v1 数值分析
摘要
分裂是一种通过分解物理、尺度、区域等来处理应用问题的方法。许多分裂算法被设计用于高效的时间离散。在本文中,我们的目标是在设计机器学习算法时使用时域分裂概念,同时通过融入数据并加速来辅助分裂算法。由于分裂解通常包含显式与隐式部分,我们将所提方法称为显式-隐式混合(HEI)学习。我们将考虑一种近期引入的多尺度分裂算法。为逼近动力学,仅少量自由度被隐式求解,其余则显式求解。本文中,我们在机器学习中使用该分裂概念并提出若干策略。首先,解的隐式部分由于更难求解可被学习,而显式部分可计算。这为分裂方法提供了加速与数据融入。其次,可设计混合神经网络架构,因为处理显式部分所需神经元间通信少且可高效完成。第三,可通过 PDE 或其他近似方法求解粗网格分量,并为解的显式部分构造更简单的神经网络。我们讨论这些选项并将其中之一实现为机器翻译任务。该解释成功使我们能够使用 Transformer,因其可对多时间序列进行模型降阶并学习关联。我们还发现分裂格式是一个利用目标模型不充分信息预测粗解的优秀平台:目标问题被部分给定,我们需通过一个已知问题求解它。我们进行了四个数值算例,结果表明所提方法稳定且精确。
引用
@article{arxiv.2109.02147,
title = {HEI: hybrid explicit-implicit learning for multiscale problems},
author = {Yalchin Efendiev and Wing Tat Leung and Guang Lin and Zecheng Zhang},
journal= {arXiv preprint arXiv:2109.02147},
year = {2022}
}