作为二维系统的卷积神经网络
最优化与控制
2023-04-12 v2 机器学习
系统与控制
系统与控制
摘要
本文提出了一种用二维动力系统表示卷积神经网络(CNNs)的新方法。为此,通常利用卷积核(即线性滤波器的冲激响应)描述卷积层的方式,在状态空间中实现为线性时不变二维系统。由卷积层与非线性激活函数构成的整体卷积神经网络,则被视为二维版本的 Lur'e 系统,即线性动力系统与静态非线性元件互联的系统。这种将 CNN 视为二维 Lur'e 系统的视角的一个好处是,我们可以比以往更有效地利用鲁棒控制理论进行 Lipschitz 常数估计。
引用
@article{arxiv.2303.03042,
title = {Convolutional Neural Networks as 2-D systems},
author = {Dennis Gramlich and Patricia Pauli and Carsten W. Scherer and Frank Allgöwer and Christian Ebenbauer},
journal= {arXiv preprint arXiv:2303.03042},
year = {2023}
}