神经常微分方程与深度残差网络的泛化界
机器学习
2023-10-13 v2 机器学习
摘要
神经常微分方程（neural ODEs）是一类流行的连续深度深度学习模型。在本工作中，我们考虑一大类具有连续时间参数的参数化 ODE，其包含时依神经常微分方程。我们通过基于 Lipschitz 的论证推导出该类的泛化界。通过利用神经常微分方程与深度残差网络之间的类比，我们的方法特别地给出了深度残差网络一类的泛化界。该界涉及连续权重矩阵之间差异的大小。我们通过数值实验说明了该量如何影响神经网络的泛化能力。
引用
@article{arxiv.2305.06648,
title = {Generalization bounds for neural ordinary differential equations and deep residual networks},
author = {Pierre Marion},
journal= {arXiv preprint arXiv:2305.06648},
year = {2023}
}
备注
NeurIPS 2023, 21 pages, 2 figures