高维信噪比的自适应估计

我们考虑在具有高斯随机设计的高维线性回归模型中，估计残差方差、解释方差比例 $\eta$ 和信号强度这些等价问题。我们的目的是理解不知道回归参数的稀疏性和不知道设计分布对 $\eta$ 的极小极大估计速率的影响。取决于回归参数的稀疏性 $k$， $\eta$ 的最优估计量要么依赖于估计回归参数，要么基于U型统计，并具有依赖于 $k$ 的极小极大速率。在 $k$ 未知的重要情形下，我们构建了一个自适应过程，其收敛速度同时达到所有 $k$ 上的极小极大风险，直至一个对数损失，我们证明该损失不可避免。最后，设计分布的知识被证明起关键作用。当设计分布未知时，解释方差的一致估计确实只在比已知设计分布窄得多的范围内可能。