具有符号置换表示的稠密连接 $G$-不变深度神经网络

我们引入并研究有限群 $G$ 下具有 ReLU 激活且稠密连接（即包含所有可能跳跃连接）的 $G$-不变深度神经网络（$G$-DNN）架构。与文献中其他 $G$-不变架构不同，此处 $G$-DNN 的预激活能够通过 $G$ 的\emph{符号}置换表示（signed perm-reps）进行变换。此外，各 $G$-DNN 层不要求为 $G$-等变；相反，预激活被约束为网络输入的 $G$-等变函数，并以耦合所有层权重的方式实现。结果是一族比以往更丰富的 $G$-不变架构。我们在权重重参数化后推导出 $G$-DNN 的高效实现，以及架构“可容许”（即非退化且不等价于更小架构）的充要条件。我们提供可交互逐层构建 $G$-DNN 的代码，并保证最终架构可容许。我们展示可容许 $G$-DNN 架构远多于文献中“拼接 ReLU（concatenated ReLU）”激活函数所能获得的那些。最后，我们将 $G$-DNN 应用于两个示例问题——（1）$\{-1, 1\}$ 中的乘法（具理论保证）与（2）3D 物体分类——发现符号置换表示的引入相比仅具普通（即无符号）置换表示的基线显著提升了预测性能。