两阶段洞察全局：通过级联双边采样进行矩阵草图绘制

矩阵草图绘制旨在通过更小维度的因子寻找矩阵的近似解，这在优化和机器学习中具有重要应用。给定一个 $m \times n$ 的矩阵 $A$，最先进的随机算法需要 $O(m \cdot n)$ 的时间和空间来获得其低秩分解。尽管非常有用，但存储或操作整个矩阵的需求使其成为处理真正大规模稠密输入时的计算瓶颈。我们能否仅通过访问矩阵的一小部分行和列，在无需了解其余数据的情况下，以 $O(m + n)$ 的成本完成 $m \times n$ 矩阵的草图绘制？在本文中，我们提出了级联双边采样（cascaded bilateral sampling, CABS）框架来解决这一问题。我们首先展示了双边矩阵草图绘制的近似质量如何依赖于采样的编码能力。具体而言，采样的行和列应对应于真实分解中的码向量。受此分析启发，我们建议首先使用简单随机采样生成一个试点草图（pilot-sketch），然后在试点草图因子上进行更高级的“后续”采样，以寻求最大的编码能力。在这个级联过程中，近似质量的提升被证明由后续采样步骤中编码能力的改进所下界，从而在理论上保证了算法的增强特性。在计算上，我们的框架仅需线性时间和空间，同时其性能可与消耗二次方资源的最先进算法相媲美。在基准数据上的实证评估充分展示了我们方法在大规模矩阵草图绘制及相关领域的潜力。