使用深度 ReLU 网络对高斯混合模型生成数据进行分类

本文研究使用深度 ReLU 神经网络对由 ${\mathbb R}^d$ 上高斯混合模型（GMMs）生成的无限界数据进行二分类。我们首次获得了在无模型参数限制下分类的超额风险（超额误分类误差）的非渐近上界与收敛速率。我们导出的收敛速率不依赖于维度 $d$，表明深度 ReLU 网络能克服分类中的维数灾难。现有多数分类算法的泛化分析依赖于有界域，而我们通过利用高斯分布的分析性与快速衰减考虑无界域。为便于分析，我们给出了使用 ReLU 网络对一般解析函数的新的逼近误差界，这本身可能具有独立意义。高斯分布可很好地用于建模应用中出现的数据，例如语音、图像与文本；我们的结果为深度神经网络在实际分类问题中观测到的效率提供了理论验证。