基于 PAC-Bayes 界的深度神经网络在非独立数据上的极小极大最优性
机器学习
2025-06-12 v2 机器学习
摘要
在一项开创性工作中，Schmidt-Hieber (2020) 证明了对于由复合定义的一大类函数上的最小二乘回归估计，具有 ReLU 激活函数的深度神经网络具有极小极大最优性。在本文中，我们从多个方向扩展了这些结果。首先，我们移除了对观测值的独立同分布 (i.i.d.) 假设，以允许一定的时间依赖性。观测值被假设为具有非零伪谱隙的 Markov 链。然后，我们研究了一类更一般的机器学习问题，其中包含最小二乘回归和逻辑回归作为特例。利用 PAC-Bayes 预言机不等式和 Paulin (2015) 提出的一种 Bernstein 不等式，我们导出了广义贝叶斯估计器估计风险的上界。在最小二乘回归的情况下，该上界（对数因子不计）与 Schmidt-Hieber (2020) 的下界相匹配。我们针对带有逻辑损失的分类建立了类似的下界，并证明了所提出的 DNN 估计器在极小极大意义下是最优的。
引用
@article{arxiv.2410.21702,
title = {Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds},
author = {Pierre Alquier and William Kengne},
journal= {arXiv preprint arXiv:2410.21702},
year = {2025}
}