结合龙格-库塔方法的卷积神经网络
计算机视觉与模式识别
2022-10-18 v7 机器学习
摘要
卷积神经网络可利用求解动力系统的数值方法构造，因为网络的前向传播可视为动力系统的轨迹。然而，现有基于数值求解器的模型无法避免隐式方法的迭代，这使得模型在推理时效率低下。本文从动力系统视角重新解读了预激活残差网络（ResNets）及其变体。我们认为隐式龙格-库塔方法的迭代被融合进了这些模型的训练中。此外，我们提出了一种基于高阶龙格-库塔方法构造网络模型的新方法，以实现更高效率。我们提出的模型被称为龙格-库塔卷积神经网络（RKCNNs）。RKCNNs 在多个基准数据集上进行了评估。实验结果表明，RKCNNs 远优于其他动力系统网络模型：它们以少得多的资源取得更高的精度。它们也拓展了基于动力系统数值方法的网络模型家族。
引用
@article{arxiv.1802.08831,
title = {Convolutional Neural Networks combined with Runge-Kutta Methods},
author = {Mai Zhu and Bo Chang and Chong Fu},
journal= {arXiv preprint arXiv:1802.08831},
year = {2022}
}
备注
26 pages, 2 figures