迹估计的最优草图方法

矩阵迹估计在机器学习应用中无处不在，传统上依赖于 Hutchinson 方法，该方法需要 $O(\log(1/\delta)/\epsilon^2)$ 次矩阵-向量乘积查询，以失败概率 $\delta$ 在正半定输入矩阵 $A$ 上获得 $\text{tr}(A)$ 的 $(1 \pm \epsilon)$ 乘性近似。近来提出的 Hutch++ 算法将矩阵-向量查询次数从 $O(1/\epsilon^2)$ 降至最优的 $O(1/\epsilon)$，且算法以常数概率成功。然而，在高概率设定下，非自适应 Hutch++ 算法在其查询复杂度上多出 $O(\sqrt{\log(1/\delta)})$ 的乘性因子。非自适应方法十分重要，因为它们对应于草图算法，这类算法可合并、高度并行化，并提供低内存流式算法以及低通信分布式协议。本工作中，我们弥合了非自适应与自适应算法之间的差距，证明即便非自适应算法也能达到 $O(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$ 次矩阵-向量乘积。此外，我们证明了匹配的下界，表明除去 $\log \log(1/\delta)$ 因子外，任何非自适应算法都不可能在依赖于 $\delta$ 或 $\epsilon$ 的方面进一步改进。最后，我们的实验展示了我们的草图相对于自适应 Hutch++ 算法（并行性较差）以及非自适应 Hutchinson 方法的优越性能。