关于超网络的模块化

在将输入 $I$ 映射为函数 $h_I:\mathcal{X}\to \mathbb{R}$ 的学习背景下，比较两种替代方法：(i) 基于嵌入的方法，学习一个固定函数，其中 $I$ 被编码为条件信号 $e(I)$，所学函数形如 $h_I(x) = q(x,e(I))$；(ii) 超网络，其中函数 $h_I(x) = g(x;\theta_I)$ 的权重 $\theta_I$ 由超网络 $f$ 给出为 $\theta_I=f(I)$。本文中，我们将模块化性质定义为对每个输入实例 $I$ 有效学习不同函数的能力。为此，我们采用该性质的表达能力视角，推广 Devore 等人 1996 的理论，并通过消除对逼近方法鲁棒性的要求，给出神经网络作为函数逼近器的复杂度（可训练参数数量）下界。我们的结果随后用于比较 $q$ 与 $g$ 的复杂度，表明在特定条件下并令函数 $e$ 与 $f$ 任意大时，$g$ 可比 $q$ 小数个数量级。这阐明了超网络相较基于嵌入方法的模块化。此外，我们展示对于结构化目标函数，超网络中可训练参数总数比标准神经网络与嵌入方法的可训练参数数量小数个数量级。