论不变网络的普适性

将神经网络中的线性层约束为尊重群 $G$ 的对称变换，是不变网络的一种常见设计原则，已在机器学习中找到诸多应用。本文考虑一个迄今鲜受关注的基本问题：这些网络能否逼近任意（连续）不变函数？我们处理相当一般的情形，其中 $G\leq S_n$（对称群的任意子群）通过置换坐标作用于 $\mathbb{R}^n$。该设定包含若干近期流行的不变网络。我们给出两个主要结果：第一，若允许高阶张量，则 $G$-不变网络是普适的。第二，存在某些群 $G$，对其而言高阶张量对获得普适性是不可回避的。仅由一阶张量构成的 $G$-不变网络因其实用价值而备受关注。我们在文末证明了仅含一阶张量的 $G$-不变网络具有普适性的一个必要条件。