基于非独立同分布非各向同性数据的样本高效线性表示学习

近期机器学习诸多进展背后的一个有力概念，是从异构来源或任务的数据中提取共同特征。直观上，利用所有数据学习一个公共表示函数，通过减少在给定任务上微调的参数数量，既有利于计算效率，也有利于统计泛化。为从理论上奠定这些优点的基础，我们提出了一种从含噪向量观测 $y = Mx + w$ 中恢复线性算子 $M$ 的一般设定，其中协变量 $x$ 可以既非独立同分布又非各向同性。我们证明，现有的各向同性无关表示学习方法在表示更新上会产生偏差，导致噪声项的缩放失去对源任务数量的良好依赖关系。这反过来会使表示学习的样本复杂度受限于单任务数据规模。我们引入了由 Collins 等人（2021）与 Nayer 和 Vaswani（2022）独立提出的流行交替最小化-下降方案的一个改进方法，即「去偏与特征白化」（$\texttt{DFW}$），并建立了以噪声水平随$\textit{总}$源数据规模下降的方式线性收敛到最优表示的保证。这带来了与预言经验风险最小化器同阶的泛化界。我们在各种数值模拟中验证了 $\texttt{DFW}$ 的关键重要性。特别地，我们表明即使对于独立同分布但仅轻度非各向同性的数据，朴素的交替最小化下降也会灾难性地失败。我们的分析统一并推广了先前工作，并为控制与动力系统等更广泛的应用提供了灵活框架。