神经常微分方程的压缩性：一个特征值优化问题

我们提出了一种新方法来求解神经常微分方程（neural ODEs）压缩性分析中出现的关键特征值优化问题。在考察单层权重共享神经 ODE $\dot{u}(t)=\sigma(Au(t)+b)$ 的压缩性性质时（其中 $u,b \in {\mathbb R}^n$，$A$ 是给定的 $n \times n$ 矩阵，$\sigma : {\mathbb R} \to {\mathbb R}$ 表示激活函数，对于向量 $z \in {\mathbb R}^n$，$\sigma(z) \in {\mathbb R}^n$ 需按元素解释），我们被引导去研究类型为 $D A$ 的乘积集合的对数范数，其中 $D$ 是一个对角矩阵，满足 ${\mathrm{diag}}(D) \in \sigma'({\mathbb R}^n)$。具体而言，给定一个实数 $c$（通常 $c=0$），该问题在于寻找最大的正区间 $\text{I}\subseteq \mathbb [0,\infty)$，使得对于所有满足 $D_{ii}\in \text{I}$ 的对角矩阵 $D$，其对数范数 $\mu(DA) \le c$。我们提出了一种双层嵌套方法：内层针对给定的 $\text{I}$，通过梯度系统方法计算优化器 $D^\star(\text{I})$；外层则调整 $\text{I}$，使得 $\mu(D^\star(\text{I})A)$ 达到值 $c$。我们将所提出的双层方法推广到一般的多层且可能随时间变化的情形 $\dot{u}(t) = \sigma( A_k(t) \ldots \sigma ( A_{1}(t) u(t) + b_{1}(t) ) \ldots + b_{k}(t) )$，并提出了若干数值算例来说明其行为，包括其在应用于 MNIST 手写数字数据集分类的单层神经 ODE 上的稳定化性能。