相关数据库检测中的相变

我们研究检测两个高斯数据库 $\mathsf{X}\in\mathbb{R}^{n\times d}$ 和 $\mathsf{Y}^{n\times d}$ 之间相关性的问题，每个数据库由 $n$ 个用户和 $d$ 个特征组成。该问题与社交媒体分析、计算生物学等相关。我们将其表述为一个假设检验问题：在零假设下，这两个数据库是统计独立的。然而在备择假设下，存在一个关于 $n$ 个用户集合的未知排列 $\sigma$（即行排列），使得 $\mathsf{X}$ 与 $\mathsf{Y}$ 的排列版本 $\mathsf{Y}^\sigma$ 具有 $\rho$ 相关性。我们确定了最优检验出现相变的锐利阈值，该阈值取决于 $n$ 和 $d$ 的渐近状态。具体而言，我们证明，若当 $d\to\infty$ 时 $\rho^2d\to0$，则无论 $n$ 取何值，弱检测（表现略优于随机猜测）在统计上都是不可能的。这补充了对 $\mathsf{X}^T\mathsf{Y}$ 所有元素之和进行阈值处理的简单检验的性能。此外，当 $d$ 固定时，我们证明对于任何 $\rho<\rho^\star$，强检测（错误概率趋于零）是不可能的，其中 $\rho^\star$ 是 $d$ 的显式函数，而只要 $\rho^2d\to0$，弱检测同样是不可能的。这些结果填补了当前近期相关研究中的重要空白。