样本协方差算子的集中不等式与矩界
概率论
2014-07-02 v3
摘要
设 X , X 1 , … , X n , … X,X_1,\dots, X_n,\dots X , X 1 , … , X n , … 为可分 Banach 空间 E E E 中独立同分布的零均值高斯随机变量,其协方差算子为 Σ : \Sigma: Σ : Σ : E ∗ ↦ E , Σ u = E ⟨ X , u ⟩ , u ∈ E ∗ . \Sigma:E^{\ast}\mapsto E,\ \ \Sigma u = {\mathbb E}\langle X,u\rangle, u\in E^{\ast}. Σ : E ∗ ↦ E , Σ u = E ⟨ X , u ⟩ , u ∈ E ∗ . 样本协方差算子 Σ ^ : E ∗ ↦ E \hat \Sigma:E^{\ast}\mapsto E Σ ^ : E ∗ ↦ E 定义为 Σ ^ u : = n − 1 ∑ j = 1 n ⟨ X j , u ⟩ X j , u ∈ E ∗ . \hat \Sigma u := n^{-1}\sum_{j=1}^n \langle X_j,u\rangle X_j, u\in E^{\ast}. Σ ^ u := n − 1 j = 1 ∑ n ⟨ X j , u ⟩ X j , u ∈ E ∗ . 本文旨在获得样本协方差算子偏离真实协方差算子的算子范数 ∥ Σ ^ − Σ ∥ \|\hat \Sigma-\Sigma\| ∥ Σ ^ − Σ∥ 的集中不等式和期望界。特别地,证明了 E ∥ Σ ^ − Σ ∥ ≍ ∥ Σ ∥ ( r ( Σ ) n ⋁ r ( Σ ) n ) , {\mathbb E}\|\hat \Sigma-\Sigma\|\asymp \|\Sigma\|\biggl(\sqrt{\frac{{\bf r}(\Sigma)}{n}}\bigvee \frac{{\bf r}(\Sigma)}{n}\biggr), E ∥ Σ ^ − Σ∥ ≍ ∥Σ∥ ( n r ( Σ ) ⋁ n r ( Σ ) ) , 其中 r ( Σ ) : = ( E ∥ X ∥ ) 2 ∥ Σ ∥ . {\bf r}(\Sigma):=\frac{\Bigl({\mathbb E}\|X\|\Bigr)^2}{\|\Sigma\|}. r ( Σ ) := ∥Σ∥ ( E ∥ X ∥ ) 2 . 此外,在假设 r ( Σ ) ≲ n {\bf r}(\Sigma)\lesssim n r ( Σ ) ≲ n 下,证明了对于所有 t ≥ 1 , t\geq 1, t ≥ 1 , 以至少 1 − e − t 1-e^{-t} 1 − e − t 的概率有 \begin{align*} \Bigl|\|\hat\Sigma - \Sigma\|-{\mathbb E}\|\hat\Sigma - \Sigma\|\Bigr| \lesssim \|\Sigma\|\biggl(\sqrt{\frac{t}{n}}\bigvee \frac{t}{n}\biggr). \end{align*}
引用
@article{arxiv.1405.2468,
title = {Concentration Inequalities and Moment Bounds for Sample Covariance Operators},
author = {Vladimir Koltchinskii and Karim Lounici},
journal= {arXiv preprint arXiv:1405.2468},
year = {2014}
}