条件 KRR：将未惩罚特征注入核方法及其在核阈值中的应用

准正定（CPD）核是相对于函数类 $\mathcal{F}$ 定义的。众所周知，此类核 $K$ 关联其本土空间（类似于 RKHS 定义），进而产生一种学习方法——称为条件核岭回归（conditional KRR），因其类似于 KRR 而得名，其中估计的回归函数因其本土空间范数之平方而受惩罚。这一方法有趣，因为它可视为具有由 $\mathcal{F}$ 指定的特征的经典线性回归，随后对目标变量的残差（未解释）分量应用标准 KRR。此类方法最近受到越来越多的关注。我们通过将其行为简化为具有另一个固定核的 KRR 来研究该方法的统计属性。我们的主要理论结果表明，这种简化确实可能，代价是在预期测试风险中增加一个项，受样本量 $N$ 的 $\mathcal{O}(1/\sqrt{N})$ 上界控制，其中隐藏常数取决于类 $\mathcal{F}$ 和输入分布。这种简化使我们能够在 $K$ 为正定且 $\mathcal{F}$ 给定为 $K$ 在 Mercer 分解中前 $k$ 个本征函数的情况下分析条件 KRR。我们还考虑 $\mathcal{F}$ 由 $K$ 的随机特征表示中的 $k$ 个随机特征组成的情况。结果表明，这两种设置紧密相关。我们的方法的理论分析和实验均确认，在 $\mathcal{F}$-分量在残差部分更为突出时，条件 KRR 在这些情况下优于标准 KRR。