HeunNet：使用 Heun 方法扩展 ResNet
机器学习
2021-05-17 v2 神经与进化计算
摘要
深度神经网络的 ResNet（残差网络）架构与 ODE 的欧拉求解器之间存在类比。每一层所执行的变换类似于求解 ODE 时的欧拉步。我们考虑涉及单个预测-校正循环的 Heun 方法，并完善该类比，构建了 ResNet 的预测-校正变体，称之为 HeunNet。正如 Heun 方法比欧拉法更精确，实验表明，与原始循环神经网络及其他 ResNet 变体相比，HeunNet 以较低的计算（训练与测试）时间实现了高准确率。
引用
@article{arxiv.2105.06168,
title = {HeunNet: Extending ResNet using Heun's Methods},
author = {Mehrdad Maleki and Mansura Habiba and Barak A. Pearlmutter},
journal= {arXiv preprint arXiv:2105.06168},
year = {2021}
}
备注
Irish Signals & Systems Conference 2021