Hutch++：最优随机迹估计

我们研究估计矩阵 $A$ 的迹的问题，该矩阵仅能通过矩阵-向量乘法访问。我们引入一种新的随机化算法 Hutch++，它仅使用 $O(1/\epsilon)$ 次矩阵-向量乘积，即可对任意半正定（PSD）$A$ 计算出 $tr(A)$ 的 $(1 \pm \epsilon)$ 近似。这改进了无处不在的 Hutchinson 估计器，后者需要 $O(1/\epsilon^2)$ 次矩阵-向量乘积。我们的方法基于一种简单技术，利用低秩近似步骤降低 Hutchinson 估计器的方差，且易于实现与分析。此外，我们证明，直至对数因子，Hutch++ 的复杂度在所有矩阵-向量查询算法中最优，即便查询可被自适应地选择。我们展示它在实验中显著优于 Hutchinson 方法。虽然我们的理论主要要求 $A$ 为半正定，我们提供了针对一般方阵的广义保证，并展示了在此类应用中的经验增益。