高维线性高斯模型样本协方差矩阵的谱统计

从线性时不变 (LTI)\footnote{马尔可夫链文献中的线性高斯 (LG) 模型}系统 $X_{-}:(x_0,x_1, \ldots,x_{N-1})$ 的单一含噪观测轨迹中，利用普通最小二乘法 (OLS) 估计高维稳定状态转移矩阵 $A$（即谱半径 $\rho(A)<1$）的性能，该系统满足 \begin{equation} x_{t+1}=Ax_{t}+w_{t}, \hspace{10pt} \text{ 其中 } w_{t} \thicksim N(0,I_{n}), \end{equation} 极大地依赖于样本协方差矩阵 $(X_{-}X_{-}^{*})=\sum_{i=0}^{N-1}x_{i}x_{i}^{*}$ 的负矩以及 $EX_{-}^{*}$ 的奇异值，其中 $E$ 为矩形高斯系综 $E=[w_0, \ldots, w_{N-1}]$。负矩要求对所有特征值 $\lambda_{1}\big(X_{-}X_{-}^{*}\big) \geq \ldots \geq \lambda_{n}\big(X_{-}X_{-}^{*}\big) \geq 0$ 进行精确估计。利用 \cite{naeem2023spectral} 中关于非厄米算子谱定理的近期结果，结合测度集中现象和扰动理论（Gershgorin 圆盘定理和 Cauchy 交错定理），我们证明了仅当 $A=A^{*}$ 时，对于所有 $j \in [n]$，$\lambda_{j}\big(X_{-}X_{-}^{*}\big)$ 的典型阶属于 $\big[N-n\sqrt{N}, N+n\sqrt{N}\big]$。然而，在*高维*情形下，当 $A$ 仅有一个几何重数为 1 的不同特征值 $\lambda$ 时，一旦该特征值离开*复半单位圆盘*，最大特征值便会遭受维数灾难：$\lambda_{1}\big(X_{-}X_{-}^{*}\big)=\Omega\big( \lfloor\frac{N}{n}\rfloor e^{\alpha_{\lambda}n} \big)$，而最小特征值 $\lambda_{n}\big(X_{-}X_{-}^{*}\big) \in (0, N+\sqrt{N}]$。因此，OLS 估计量经历了*相变*并变得*瞬态：增加迭代次数只会恶化估计误差*，而这一切均发生在由稳定系统生成的动力学中。