含非各向同性噪声的异质数据子空间恢复

从数据中恢复线性子空间是统计学与机器学习中一项基础且重要的任务。受联邦学习场景中异质性的启发，我们研究该问题的一个基本形式：主成分分析（PCA），重点关注处理不规则噪声。我们的数据来自 $n$ 个用户，用户 $i$ 贡献来自 $d$ 维分布的数据样本，其均值为 $\mu_i$。我们的目标是通过所有用户的数据点恢复 $\mu_1,\ldots,\mu_n$ 共享的线性子空间，其中用户 $i$ 的每个数据点由向 $\mu_i$ 加入一个独立的零均值噪声向量构成。若每用户仅有一个数据点，当噪声向量协方差矩阵非球型时，子空间恢复在信息论上不可能，此前工作需附加限制性假设。我们通过利用每用户至少两个数据点避免了这些假设，从而能在非球型且依赖于用户的噪声下设计可高效计算的估计量。我们给出了一般场景下估计量估计误差的上界（其中数据点数量与噪声量可随用户变化），并证明了一个信息论误差下界，其不仅与上限相差常数因子，且即便对球型高斯噪声也成立。这意味着我们的估计量未因噪声不规则性引入额外估计误差（相差常数因子）。我们展示了类似设定下线性回归问题的附加结果。