异质分布偏移下的统计学习

本文研究从随机变量对 $(\mathbf{x},\mathbf{y})$ 预测目标 $\mathbf{z}$，其中真实预测器为加性 $\mathbb{E}[\mathbf{z} \mid \mathbf{x},\mathbf{y}] = f_\star(\mathbf{x}) +g_{\star}(\mathbf{y})$。我们研究经验风险最小化(ERM)在函数 $f+g$ 上的表现，$f \in F$ 且 $g \in G$，拟合于给定训练分布，但在展现协变量偏移的测试分布上评估。我们表明，当类 $F$ 比 $G$ “更简单”时(例如以其度量熵衡量)，我们的预测器对 $\mathbf{x}$ 中偏移远大于 $\mathbf{y}$ 中偏移的异质协变量偏移更具韧性。我们的分析通过证明 ERM 在性质上类似于正交机器学习：ERM 恢复预测器 $f$ 分量所需的速率仅对类 $G$ 的复杂度有低阶依赖，并针对加性结构引入的部分不可辨识性作了调整。这些结果依赖于一个针对 Dudley 积分的新型 H\"older 型不等式，其本身可能具有独立意义。此外，我们通过实验证实了理论发现，即跨多个领域中“更简单”特征上的偏移具有改善的韧性。