奇异值的最优硬阈值为 $4/\sqrt{3}$

我们考虑通过对奇异值进行硬阈值处理从噪声数据中恢复低秩矩阵，其中低于规定阈值 $\lambda$ 的奇异值被设为 0。我们在矩阵尺寸远大于待恢复矩阵秩、且低秩部分信噪比保持恒定的框架下研究渐近均方误差 (AMSE)。对于噪声水平为 $\sigma$ 的 $n\times n$ 矩阵，当 $\sigma$ 已知时，AMSE 最优的硬阈值选择简单地为 $(4/\sqrt{3}) \sqrt{n}\sigma \approx 2.309 \sqrt{n}\sigma$；当 $\sigma$ 未知时，则为 $2.858\cdot y_{med}$，其中 $y_{med}$ 是经验奇异值的中位数。对于 $m \neq n$ 的非方阵 $m\times n$ 矩阵，这些阈值系数将被替换为提供的不同常数。在我们的渐近框架中，该阈值规则以最优方式适应未知秩和未知噪声水平：无论我们要恢复的矩阵是什么，它总是优于任何其他值的硬阈值处理，并且总是优于理想的截断奇异值分解 (TSVD)，后者在我们试图恢复的低秩矩阵的真实秩处进行截断。在推荐值处对秩为 $r$ 的 $n\times n$ 矩阵进行硬阈值处理，保证 AMSE 至多为 $3nr\sigma^2$。相比之下，TSVD 提供的保证为 $5nr\sigma^2$，最优调优的奇异值软阈值处理提供的保证为 $6nr\sigma^2$，而任何数据奇异值收缩方法可实现的最佳保证为 $2nr\sigma^2$。实证证据表明，$4/\sqrt{3}$ 阈值规则的这些 AMSE 特性即使对于相对较小的 $n$ 也依然有效，并且其相对于 TSVD 和其他收缩规则的性能提升显著，使其成为实用的硬阈值首选方案。