锐利浓度不等式：Orlicz尾分布的相变与混合方差

本文研究如何发展针对亚Weibull随机变量的锐利浓度不等式，包括亚高斯和亚指数分布。虽然这些随机变量可能不属于亚高斯分布，但其围绕原点的尾概率的行为就好像它们属于亚高斯分布，尾概率的衰减则与Orlicz $\Psi_\alpha$尾分布相吻合。具体而言，对于独立同分布（i.i.d.）的随机变量序列 $\{X_i\}_{i=1}^n$，若其Orlicz范数 $\|X\|_{\Psi_\alpha}$ 有限，则我们的理论揭示了在 $\alpha = 2$ 处存在有趣的相变：当 $t > 0$ 时，$\PP\l(\l|\sum_{i=1}^n X_i \r| \geq t\r)$ 的上界为 $2\exp\l(-C\max\l\{\frac{t^2}{n\|X\|_{\Psi_{\alpha}}^2},\frac{t^{\alpha}}{ n^{\alpha-1} \|X\|_{\Psi_{\alpha}}^{\alpha}}\r\}\r)$（当 $\alpha\geq 2$），或为 $2\exp\l(-C\min\l\{\frac{t^2}{n\|X\|_{\Psi_{\alpha}}^2},\frac{t^{\alpha}}{ n^{\alpha-1} \|X\|_{\Psi_{\alpha}}^{\alpha}}\r\}\r)$（当 $1\leq \alpha\leq 2$），其中 $C$ 为正常数。在许多情境下，必须区分标准差与Orlicz范数，因为后者可能显著超过前者。为此，我们构建了新的理论分析框架，锐利且灵活的浓度不等式涉及方差与Orlicz $\Psi_\alpha$尾分布的混合，通过min和max函数实现。我们的理论即使在亚高斯和亚指数分布的情况下（分别对应 $\alpha = 2$ 和 $\alpha = 1$），也能产生新的、改进的浓度不等式。我们进一步在鞅、随机向量、随机矩阵以及协方差矩阵估计上演示了理论。这些锐利浓度不等式可赋予更精确的非渐近统计与机器学习应用分析能力。