高维矩阵降秩估计量的最优选择

我们引入了一个新准则，即秩选择准则（RSC），用于在多响应回归模型中选择系数矩阵的最优降秩估计量。相应的 RSC 估计量最小化拟合的 Frobenius 范数加上与降秩模型中参数个数成正比的正则化项。RSC 估计量的秩提供了系数矩阵秩的一致估计量；通常，我们估计量的秩是有效秩的一致估计，我们将有效秩定义为目标矩阵中适当大的奇异值的个数。一致性结果不仅在下述经典渐近体制下成立：当响应数 $n$ 和预测变量数 $p$ 保持有界，而观测数 $m$ 增长时；而且在 $n$ 和 $p$ 之一或两者均增长（可能比 $m$ 快得多）时也成立。我们建立了关于估计量均方误差的极小极大最优界。我们对 RSC 估计量的有限样本性能界表明，它在近似误差与惩罚项之间达到了最优平衡。此外，我们的过程具有非常低的计算复杂度，与候选模型数量呈线性关系，这使其对大规模问题特别具有吸引力。我们将我们的估计量与核范数惩罚最小二乘（NNP）估计量进行了对比，对于多变量回归模型，NNP 的计算复杂度本质上高于 RSC。我们表明，尽管在更强的条件下，NNP 具有与 RSC 相似的估计性质，但它不如 RSC 稀疏。我们给出了 NNP 估计量的一个简单修正，该修正可导出一致的秩估计。