具有层变化参数的神经广义常微分方程
机器学习
2022-09-23 v1
摘要
深度残差网络（ResNets）已在各种实际应用中展现出最先进的性能。近来，ResNets 模型被重新参数化并解释为连续常微分方程或 Neural-ODE 模型的解。在本研究中，我们提出一种具有层变化参数的神经广义常微分方程（Neural-GODE）模型，以进一步扩展 Neural-ODE 来逼近离散的 ResNets。具体而言，我们使用非参数 B 样条函数对 Neural-GODE 进行参数化，从而可轻松平衡模型复杂度与计算效率之间的权衡。研究表明，ResNets 和 Neural-ODE 模型均为所提 Neural-GODE 模型的特例。基于 MNIST 和 CIFAR-10 两个基准数据集，我们展示了层变化的 Neural-GODE 比标准 Neural-ODE 更灵活、更具通用性。此外，Neural-GODE 在预测精度上与 ResNets 相当的同时，享有计算和内存方面的优势。
引用
@article{arxiv.2209.10633,
title = {Neural Generalized Ordinary Differential Equations with Layer-varying Parameters},
author = {Duo Yu and Hongyu Miao and Hulin Wu},
journal= {arXiv preprint arXiv:2209.10633},
year = {2022}
}