可分离高斯神经网络：结构、分析与函数逼近
机器学习
2023-08-15 v1
摘要
高斯径向基函数神经网络（GRBFNN）一直是插值与分类的常用选择。然而当输入向量维度较高时，其计算开销巨大。为解决该问题，我们利用高斯函数的可分离特性提出一种新型前馈网络——可分离高斯神经网络（SGNN），它将输入数据拆分为多列并依次送入由一元高斯函数构成的并行层。该结构将 GRBFNN 的神经元数量从 O(N^d) 降至 O(dN)，使 SGNN 计算速度呈指数级提升，并随输入维度增加呈线性扩展。此外，SGNN 能在梯度下降训练中保留 GRBFNN Hessian 矩阵的主子空间，从而达到与 GRBFNN 相近的精度。实验表明，在三变量函数逼近上 SGNN 相较 GRBFNN 可实现 100 倍加速且精度相当。SGNN 还比使用 RuLU 与 Sigmoid 函数的 DNN 具有更好的可训练性与调参友好性。对于几何复杂的函数逼近，SGNN 可比层数加倍且每层神经元数加倍的 RuLU-DNN 精确三个数量级。
引用
@article{arxiv.2308.06679,
title = {Separable Gaussian Neural Networks: Structure, Analysis, and Function Approximations},
author = {Siyuan Xing and Jianqiao Sun},
journal= {arXiv preprint arXiv:2308.06679},
year = {2023}
}