中文

动态迹估计的最优查询复杂度

数据结构与算法 2022-10-03 v1 机器学习

摘要

我们考虑在底层矩阵缓慢变化的动态设置(例如优化过程中)中,最小化准确迹估计所需矩阵-向量查询次数的问题。具体而言,对于任意mm个矩阵A1,...,AmA_1,...,A_m,其连续差异在Schatten-11范数下以α\alpha为界,我们提供一种新颖的二叉树求和过程,以δ\delta失败概率同时估计所有mm个迹至ϵ\epsilon误差,其最优查询复杂度为O~(mαlog(1/δ)/ϵ+mlog(1/δ))\widetilde{O}\left(m \alpha\sqrt{\log(1/\delta)}/\epsilon + m\log(1/\delta)\right),改进了Dharangutte和Musco(NeurIPS, 2021)中对α\alphaδ\delta的依赖。我们的过程无需对AiA_i的额外范数界,并可推广到p[1,2]p \in [1,2]时的第pp个Schatten范数的界,给出复杂度O~(mα(log(1/δ)/ϵ)p+mlog(1/δ))\widetilde{O}\left(m \alpha\left(\sqrt{\log(1/\delta)}/\epsilon\right)^p +m \log(1/\delta)\right)。通过使用对通信复杂度的新颖归约和高斯矩阵的信息论分析,我们提供了静态和动态迹估计在所有相关参数(包括失败概率)上的匹配下界。我们的下界(1)给出了即使在静态设置下Frobenius范数误差的矩阵-向量乘积模型中Hutchinson估计器的首个紧界,以及(2)是动态迹估计的首个无条件下界,解决了先前工作的开放问题。

关键词

引用

@article{arxiv.2209.15219,
  title  = {Optimal Query Complexities for Dynamic Trace Estimation},
  author = {David P. Woodruff and Fred Zhang and Qiuyi Zhang},
  journal= {arXiv preprint arXiv:2209.15219},
  year   = {2022}
}

备注

30 pages