中文

最短路径协方差矩阵的估计

机器学习 2020-11-20 v1 数据结构与算法

摘要

我们研究了在给定独立样本的情况下,估计 Rd\mathbb{R}^d 上分布 D\mathcal D 的协方差矩阵 ΣRd×d\mathbf{\Sigma} \in \mathbb{R}^{d\times d} 的样本复杂度,假设 Σ\mathbf{\Sigma} 是图结构的。特别地,我们关注最短路径协方差矩阵,其中任意两次测量之间的协方差由具有 dd 个节点的底层图中最短路径距离决定。此类矩阵推广了 Toeplitz 和循环协方差矩阵,并广泛应用于信号处理应用中,其中两次测量之间的协方差取决于它们在时间或空间上的(最短路径)距离。我们致力于同时最小化向量样本复杂度(从 D\mathcal{D} 抽取的样本数)和条目样本复杂度(每个样本读取的条目数)。条目样本复杂度对应于信号处理应用中的测量设备成本。我们给出了一个非常简单的算法,仅使用 O(D)O(\sqrt{D}) 条目样本复杂度和 O~(r2/ϵ2)\tilde O(r^2/\epsilon^2) 向量样本复杂度,即可将 Σ\mathbf{\Sigma} 估计到谱范数误差 ϵΣ2\epsilon \left\|\mathbf{\Sigma}\right\|_2 以内,其中 DD 是底层图的直径,rdr \le dΣ\mathbf{\Sigma} 的秩。我们的方法基于将广泛用于 Toeplitz 协方差估计的稀疏尺思想推广到图设置。在 Σ\mathbf{\Sigma} 为低秩 Toeplitz 矩阵的特殊情况下,我们的结果与最先进水平(SOTA)相匹配,且证明远为简单。我们还给出了一个信息论下界,与我们的上界相差至多因子 DD,并讨论了缩小该差距的一些方向。

关键词

引用

@article{arxiv.2011.09986,
  title  = {Estimation of Shortest Path Covariance Matrices},
  author = {Raj Kumar Maity and Cameron Musco},
  journal= {arXiv preprint arXiv:2011.09986},
  year   = {2020}
}