Dyson 均衡器：面向低秩信号检测与恢复的自适应噪声稳定化

在含噪数据矩阵中检测并恢复低秩信号是数据分析中的一项基本任务。通常，该任务通过考察并处理观测数据的谱来解决，例如将数据矩阵的奇异值在某个临界水平处进行阈值化。这种方法在同方差噪声（各元素噪声方差相同）情形下已十分成熟。然而，在众多应用中，噪声可能是异方差的，其噪声特性在数据的各行与列之间可能存在显著差异。在此情形下，噪声的谱行为可能与同方差情形大不相同，给信号检测与恢复带来诸多挑战。为应对这些挑战，我们开发了一种自适应归一化过程，使给定数据矩阵各行与列上的平均噪声方差相等。我们提出的过程是数据驱动且全自动的，支持广泛的噪声分布、方差模式与信号结构。我们的方法依赖于随机矩阵理论的最新结果，其通过所谓的 Dyson 方程描述噪声的预解式。利用这一关系，我们可以直接从数据的预解式准确推断每一行与每一列的噪声水平。我们证明，在许多情况下，我们的归一化强制了同方差噪声的标准谱行为——Marchenko-Pastur (MP) 律，从而实现对信号分量的简单可靠检测。此外，我们证明通过在归一化后处理谱，我们的方法能在异方差设定下显著改善信号恢复。最后，我们将该方法应用于单细胞 RNA 测序与空间转录组学数据，展示了归一化后对 MP 律的精确拟合。