基于动力系统的神经网络
机器学习
2023-09-01 v2 数值分析
动力系统
数值分析
摘要
神经网络因其在诸多应用中的有效性而备受关注。然而，其数学性质通常未被充分理解。若数据或待逼近函数具有某种内在的几何结构，则常希望在神经网络设计中加以考虑。本工作中，我们从一个非自治常微分方程出发，利用合适的保结构数值时间离散化构建神经网络。神经网络的结构由此由 ODE 向量场的性质推断得出。除向网络架构中注入更多结构外，该建模过程亦有助于对其行为更好的理论理解。我们给出两个通用逼近结果，并展示如何对神经网络施加某些特定性质。重点在于 1-Lipschitz 架构，包括非 1-Lipschitz 的层。这些网络具有强表达力且对对抗攻击鲁棒，如 CIFAR-10 与 CIFAR-100 数据集所示。
引用
@article{arxiv.2210.02373,
title = {Dynamical systems' based neural networks},
author = {Elena Celledoni and Davide Murari and Brynjulf Owren and Carola-Bibiane Schönlieb and Ferdia Sherry},
journal= {arXiv preprint arXiv:2210.02373},
year = {2023}
}