论以理论训练神经网络推断强耦合微分方程的解
机器学习
2021-02-11 v2 应用物理
摘要
深度神经网络正变革从计算机视觉到计算医学等诸多领域，我们近期通过将理论训练神经网络（TTNs）引入凝固问题，将其应用拓展至相变传热领域 \cite{TTN}。在此，我们就理论训练网络学习强耦合微分方程解给出通用、深入且基于经验的洞见。我们分析了振荡损失对网络在训练数据点满足方程能力（以最终训练损失衡量）及推断解精度上的恶化效应。我们引入一种理论训练技术，通过利用正则化消除那些振荡、降低最终训练损失并提升推断解精度，且无额外计算成本。进而，我们给出指导方针，可对给定方程组系统性搜索具有最优训练时间与推断精度的网络；遵循这些方针可减少该搜索中繁琐的训练迭代次数。最后，理论训练与求解微分方程的对手方法——基于离散化的常规方法——之间的比较，证实了理论训练的优势未必限于高维方程组。该比较亦揭示当前理论训练框架的一个局限，可能限制其在需极高精度的领域的应用。
引用
@article{arxiv.2102.04890,
title = {On Theory-training Neural Networks to Infer the Solution of Highly Coupled Differential Equations},
author = {M. Torabi Rad and A. Viardin and M. Apel},
journal= {arXiv preprint arXiv:2102.04890},
year = {2021}
}