随流而行：神经 ODE 的自适应控制
机器学习
2021-04-16 v3 系统与控制
系统与控制
机器学习
摘要
尽管公式优雅且内存开销轻量，神经常微分方程（NODEs）存在已知的表示局限性。特别地，NODEs 学习的单一流无法表达给定数据空间到自身的全部同胚，并且其静态权重参数化限制了相比具有层依赖权重的离散架构所能学习的函数类型。在此，我们描述一种称为神经控制 ODE（N-CODE）的新模块，旨在提升 NODEs 的表达能力。N-CODE 模块的参数是由可训练映射从初始或当前激活状态控制的动态变量，分别产生开环与闭环控制形式。单个模块足以学习自适应驱动神经表示的非自治流上的分布。我们提供理论与实证证据表明 N-CODE 规避了先前 NODEs 模型的局限性，并展示增强的模型表达能力如何在多个监督与无监督学习问题中体现。这些有利的经验结果表明在数据依赖与活动依赖的可塑性用于跨领域神经网络中的潜力。
引用
@article{arxiv.2006.09545,
title = {Go with the Flow: Adaptive Control for Neural ODEs},
author = {Mathieu Chalvidal and Matthew Ricci and Rufin VanRullen and Thomas Serre},
journal= {arXiv preprint arXiv:2006.09545},
year = {2021}
}