关于经验风险极小元的集中性
统计理论
2024-09-12 v4 统计理论
摘要
获得经验风险极小元收敛于真实风险极小元的保证是统计学习中的基本问题。与推导通常的估计误差保证不同，本文的目标是针对广泛的估计问题，给出风险极小元集合之间距离的浓度不等式。特别地，风险通过概率测度在度量空间上定义，这些概率测度也支撑于度量空间上。因此将特别关注纳入无界空间以及可能无界的非凸代价函数。本工作确定了一组假设，得以描述在许多估计问题中似乎主导集中现象的一个 regime，其中经验极小元是稳定的。该稳定性随后可被用来证明概率意义下和期望意义下的参数化集中速率。所选假设在一系列估计问题上得到验证且界限得以展示，例如具有正或负曲率的度量空间上的重心、协方差矩阵的子空间、回归问题以及熵-Wasserstein 重心。
引用
@article{arxiv.2304.00809,
title = {On the Concentration of the Minimizers of Empirical Risks},
author = {Paul Escande},
journal= {arXiv preprint arXiv:2304.00809},
year = {2024}
}