Hutchinson 估计量在 Kronecker 迹估计中表现不佳

我们研究估计矩阵 $\mathbf{A}$ 迹的问题,该矩阵只能通过 Kronecker 矩阵-向量乘积访问。即对于任意 Kronecker 结构向量 $\mathrm{x} = \otimes_{i=1}^k \mathrm{x}_i$,我们可以计算 $\mathbf{A}\mathrm{x}$。我们关注 Hutchinson 估计量在此设定下的自然推广,证明了该估计量寻找 $\mathbf{A}$ 迹的 $(1\pm\varepsilon)$ 近似所需的矩阵-向量乘积次数的紧致界。我们给出了使用 Gaussian 向量的 Kronecker 积时该估计量方差的精确方程,揭示了 Hutchinson 估计量、偏迹算子与偏置算子之间的密切关系。利用该方程,我们证明当使用实向量时,在最坏情况下,该估计量需要 $O(\frac{3^k}{\varepsilon^2})$ 次乘积来恢复任意 PSD $\mathbf{A}$ 迹的 $(1\pm\varepsilon)$ 近似,并对某些 PSD $\mathbf{A}$ 给出了匹配的下界。然而,当使用复向量时,这一需求可指数级改进至 $\Theta(\frac{2^k}{\varepsilon^2})$。进一步,若 $\mathrm{x}_i$ 向量为低维,且我们改为将 $\mathrm{x}$ 构建为复球面上(缩放的)随机单位向量的 Kronecker 积,则少至 $\frac{1.33^k}{\varepsilon^2}$ 个样本即足够。我们表明当 $\mathbf{A}$ 自身也具有 Kronecker 结构时,Hutchinson 估计量收敛最慢。我们以一些理论证据表明,通过将 Hutchinson 估计量与其他技术结合,有可能避免对 $k$ 的指数依赖作结。