基于注意力机制与多重打靶法的有效隐空间微分方程模型
机器学习
2023-09-15 v3 混沌动力学
数据分析、统计与概率
医学物理
摘要
科学机器学习(SciML)是一个新兴领域,它将领域感知且可解释的模型与无先验的机器学习技术协同结合。在本工作中,我们介绍了 SciML 生成模型 GOKU-nets 的演进版本 GOKU-UI。GOKU-UI 不仅将原始模型的适用范围拓展到纳入其他类别的微分方程,例如随机微分方程(SDEs),还集成了注意力机制以及一种新颖的隐空间多重打靶训练策略。正如我们在模拟数据与经验数据上的评估所展示的,这些改进显著提升了其在重构与预测任务上的性能。具体而言,GOKU-UI 即使在训练集缩小 16 倍的情况下,仍在合成数据集上优于所有基线模型,凸显了其卓越的数据效率。此外,当应用于经验性人脑数据,并将随机 Stuart-Landau 振子纳入其动力学核心时,我们所提出的增强显著提升了模型捕捉复杂脑动力学的能力。这一增强版本不仅在重构任务中超越所有基线方法,还对未来长达 15 秒的脑活动表现出更低的预测误差。通过在静息态 fMRI 数据上训练 GOKU-UI,我们将全脑动力学编码为隐表示,学习了一个低维动力学系统模型,该模型可望提供对脑功能的洞察,并为精神状态或精神疾病的分类等实际应用开辟途径。最终,我们的研究为科学机器学习领域提供了进一步推动力,展示了当既有的科学洞见与现代机器学习交织时所能取得的进展潜力。
引用
@article{arxiv.2307.05735,
title = {Effective Latent Differential Equation Models via Attention and Multiple Shooting},
author = {Germán Abrevaya and Mahta Ramezanian-Panahi and Jean-Christophe Gagnon-Audet and Pablo Polosecki and Irina Rish and Silvina Ponce Dawson and Guillermo Cecchi and Guillaume Dumas},
journal= {arXiv preprint arXiv:2307.05735},
year = {2023}
}