基于配对数据的神经常微分方程仿真自由训练
机器学习
2024-10-31 v1
摘要
在这项工作中，我们研究了一种用于学习配对数据之间确定性映射的神经常微分方程（NODE）仿真自由训练方法。尽管 NODE 被类比为连续深度残差网络，但它们在典型监督学习任务中的应用并不流行，主要由于 ODE 求解器所需的大量函数评估次数和梯度估计中的数值不稳定。为了缓解这个问题，我们采用流匹配框架进行 NODE 的仿真自由训练，该框架将参数化动力学函数直接回归到预定义的目标速度场。然而，与生成任务不同，我们表明直接在配对数据上应用流匹配通常会导致一个定义不明确的流，破坏数据对的耦合（例如，由于交叉轨迹）。我们提出了一种简单的扩展，在数据对的嵌入空间中应用流匹配，其中嵌入与动力学函数联合学习，以确保流的有效性，这也更容易学习。我们在回归和分类任务上证明了方法的有效性，该方法以显著更少的函数评估次数超越了现有的 NODE。代码可在 https://github.com/seminkim/simulation-free-node 获取。
引用
@article{arxiv.2410.22918,
title = {Simulation-Free Training of Neural ODEs on Paired Data},
author = {Semin Kim and Jaehoon Yoo and Jinwoo Kim and Yeonwoo Cha and Saehoon Kim and Seunghoon Hong},
journal= {arXiv preprint arXiv:2410.22918},
year = {2024}
}