中文

广秩矩阵分解与去噪中平均场方程的微扰构造

无序系统与神经网络 2022-08-11 v3 统计力学 信息论 math.IT 概率论

摘要

两个因子的秩随其规模线性发散的矩阵分解在诸多领域有广泛应用,如非监督表示学习、字典学习或稀疏编码。我们考虑如下设定:两个因子由已知的逐元素独立先验分布生成,统计学家观测到其矩阵乘积的(可能含噪的)逐元素函数。在矩阵维度趋于无穷而比值保持固定的极限下,我们期望能导出估计这两个因子的最优均方误差的闭式表达式。然而,这仍是一个极为复杂的数学与算法问题。一个相关但更简单的的问题是广秩矩阵去噪,其目标是从含噪观测中重建一个秩广但通常较小的矩阵。本文中,我们采用在固定序参量下的高温展开来处理这两个问题。这澄清了先前求解这些问题的尝试为何未能找到渐近精确解。我们提供了系统的方法来推导对这些已有近似的修正,并考虑到该问题特有的关联结构。最后,我们详细地在广秩矩阵去噪的实例上阐释了我们的方法。我们将结果与已知的最优旋转不变估计量进行比较,并展示了如何利用广秩矩阵积分执行最小误差的精确渐近计算。

关键词

引用

@article{arxiv.2110.08775,
  title  = {Perturbative construction of mean-field equations in extensive-rank matrix factorization and denoising},
  author = {Antoine Maillard and Florent Krzakala and Marc Mézard and Lenka Zdeborová},
  journal= {arXiv preprint arXiv:2110.08775},
  year   = {2022}
}

备注

30 pages (main text), 25 pages of references and appendices. v2: Adding clarifications and a new result to derive the optimal denoising estimator from the asymptotic free energy. v3: corrections to match the published version