门控神经常微分方程中的可训练性、表达力与可解释性
机器学习
2023-07-14 v1 神经元与认知
摘要
理解生物与人工神经网络中的动力学如何实现对任务所需的计算，是机器学习与神经科学中一个突出的开放问题。特别是，需要复杂记忆存储与提取的计算对这些网络实现或学习构成了重大挑战。近来，一类由神经常微分方程（nODEs）描述的模型已成为能够捕捉复杂动力学的强大动态神经网络模型。在此，我们通过门控交互赋予 nODEs 自适应时间尺度，将其扩展。我们称这些为门控神经常微分方程（gnODEs）。利用一项需要连续量记忆的任务，我们展示了 gnODEs 学习（近似）连续吸引子的归纳偏置。我们进一步展示降维 gnODEs 如何保持其建模能力同时大幅改善可解释性，甚至允许对所学吸引子结构进行显式可视化。我们引入一种探究神经网络生成复杂轨迹能力的表达力新度量。利用该度量，我们探索 nODEs 的相空间维度与流场建模函数的复杂性如何贡献于表达力。我们发现，更复杂的流场建模函数允许更低维的 nODE 捕捉给定目标动力学。最后，我们在多个真实世界任务上展示了 nODEs 中门控的益处。
引用
@article{arxiv.2307.06398,
title = {Trainability, Expressivity and Interpretability in Gated Neural ODEs},
author = {Timothy Doyeon Kim and Tankut Can and Kamesh Krishnamurthy},
journal= {arXiv preprint arXiv:2307.06398},
year = {2023}
}