卷积层的 Roesser 型状态空间表示

从控制理论的角度来看，（神经网络的）卷积层是二维（或 N 维）线性时不变动力系统。通过卷积核对卷积层的通常表示对应于通过其冲激响应来表示动力系统。然而，控制理论中的许多分析工具（例如涉及线性矩阵不等式的工具）需要状态空间表示。出于这个原因，我们显式地提供了一个具有 $c_\mathrm{in}r_1 + c_\mathrm{out}r_2$ 个状态的二维卷积层的 Roesser 型状态空间表示，其中 $c_\mathrm{in}$/$c_\mathrm{out}$ 是该层的输入/输出通道数，$r_1$/$r_2$ 表征卷积核的宽度/长度。证明了当 $c_\mathrm{in} = c_\mathrm{out}$ 时该表示是最小实现。我们进一步构建了用于膨胀卷积、跨步卷积和 N 维卷积的状态空间表示。