计算存储于核外矩阵的秩揭示分解

本文描述了用于计算过大而无法装入RAM、必须存储在固态或机械硬盘等慢速外部存储设备（核外或内存外）的矩阵的秩揭示分解的高效算法。传统的秩揭示分解算法，如列主元QR分解，或计算矩阵完整奇异值分解的技术，通信密集度很高。它们自然表达为一系列矩阵-向量操作，当数据不在主存中时变得极其昂贵。随机化允许将这些方法重新表述，以便大块连续矩阵可以批量处理。本文描述了两种不同方法。第一种是列主元Householder QR的分块版本，组织为“向左看”方法以最小化写操作次数（在机械硬盘上写操作比读操作更昂贵）。第二种方法得到所谓的UTV分解，将矩阵$A$表示为$A = U T V^*$，其中$U$和$V$是酉矩阵，$T$是三角矩阵。该方法组织为分块算法，其中浮点运算与读写操作重叠。第二种方法结合了幂迭代，非常擅长揭示数值秩；它通常可用作完整奇异值分解的替代。数值实验表明，当处理存储在硬盘上的数据时，新算法几乎与处理主存中数据的传统算法一样快。确切地说，完全分解$n\times n$矩阵的计算时间随$cn^{3}$缩放，缩放常数$c$在矩阵存储于核外时仅略微增大。