具有隐变量的多响应回归中的自适应估计

本文研究在具有隐变量的多变量回归 $Y = (\Ttheta)^TX + (B^*)^TZ + E$ 中系数矩阵 $\Ttheta$ 的估计，其中 $Y$ 是 $m$ 维响应向量，$X$ 是 $p$ 维可观测特征向量，$Z$ 表示 $K$ 维不可观测隐变量向量（可能与 $X$ 相关），$E$ 是独立误差。隐变量数 $K$ 未知，且允许 $m$ 和 $p$ 随样本量 $n$ 增长，但非必须。由于只有 $Y$ 和 $X$ 可观测，我们提供了 $\Ttheta$ 可识别的必要条件。我们证明当误差 $E$ 同方差时，同一组条件也是充分的。我们的可识别性证明是构造性的，并引出了一种新颖且计算高效的估计算法，称为 HIVE。算法的第一步是估计给定 $X$ 时 $Y$ 的最佳线性预测，其中未知系数矩阵表现出 $\Ttheta$ 与源于 $X$ 和隐变量 $Z$ 之间相关性的稠密矩阵的加性分解。在对 $\Ttheta$ 施加行稀疏假设下，我们提出通过组 lasso 惩罚正则化 $\Ttheta$ 并通过多变量岭惩罚正则化稠密矩阵，以最小化惩罚最小二乘损失。我们建立了样本内预测误差的非渐近偏离界。第二步是利用第一步残差向量的协方差结构来估计 $B^*$ 的行空间。最后一步，通过将 $Y$ 投影到 $B^*$ 估计行空间的补空间上来消除隐变量的影响。我们建立了最终估计量的非渐近误差界。模型可识别性、参数估计和统计保证进一步扩展到了异方差误差的情形。