平滑决策边界下深度神经网络分类器的最小最大最优性
统计理论
2022-07-05 v1 统计理论
摘要
深度学习在大规模分类问题中取得了巨大的经验成功。相比之下，对深度学习方法缺乏统计理解，特别是在最小最大最优性视角下。例如，在经典的平滑决策边界设定下，现有的深度神经网络（DNN）方法是速率次优的，如何构造最小最大最优的 DNN 分类器仍不明确。此外，探索 DNN 分类器是否能规避处理高维数据时的维数灾难也很有意义。本文的贡献有两点。首先，基于局部化间隔框架，我们发现了现有 DNN 方法次优性的根源。受此启发，我们提出一种使用分而治之技术的新的深度学习分类器：在每个局部区域上构造 DNN 分类器，然后聚合为全局分类器。我们进一步提出了经典 Tsybakov 噪声条件的局部化版本，并在此条件下建立了我们新分类器的统计最优性。其次，我们表明 DNN 分类器可以适应低维数据结构，并在最小最大速率仅依赖于有效维数（可能远小于实际数据维数）的意义上规避维数灾难。在模拟数据上进行了数值实验以证实我们的理论结果。
引用
@article{arxiv.2207.01602,
title = {Minimax Optimal Deep Neural Network Classifiers Under Smooth Decision Boundary},
author = {Tianyang Hu and Ruiqi Liu and Zuofeng Shang and Guang Cheng},
journal= {arXiv preprint arXiv:2207.01602},
year = {2022}
}