基于稳定秩的受限特征值及其在稀疏线性回归中的应用

高维设定，即数据维度（d）远超观测数量（n），在许多统计和机器学习应用中十分常见。基于 ℓ₁-松弛的方法，如 Lasso，在这些设定下的稀疏恢复中非常流行。受限特征值（RE）条件是文献中对 Gram 矩阵施加的最弱、因而也是最一般的条件之一，它保证了 Lasso 估计量具有良好的统计性质。一个自然的问题是：哪些矩阵族满足 RE 条件？延续该领域的一系列工作，我们构造了一个新的、广泛的相依随机设计矩阵系综，它具有显式的 RE 界。我们的构造从一个满足简单稳定秩条件的固定（确定性）矩阵 X ∈ ℝ^{n×d} 出发，并证明从分布 X Φ^⊤ Φ 中抽取的矩阵（其中 Φ ∈ ℝ^{m×d} 为次高斯随机矩阵）以高概率满足 RE 条件。该构造允许将具有易于验证条件的固定矩阵纳入设计过程，并允许生成压缩设计矩阵，其存储需求低于标准设计矩阵。我们给出该构造在稀疏线性回归问题中的两个应用，其中之一是压缩稀疏回归设定，其中回归算法只能访问固定设计矩阵 X 的压缩表示。