噪声输入与分布偏移下线性去噪器的双下降与过拟合

尽管去噪在现代机器学习中十分重要且已有大量监督去噪的实证工作，其理论理解仍相对匮乏。研究监督去噪的一个担忧是，人们未必总能从测试分布获得无噪声训练数据。更合理的是能访问来自不同于测试数据集的另一数据集的无噪声训练数据。受此驱动，我们研究分布偏移下的监督去噪与噪声输入回归。我们增加三点考量以提升理论见解对真实数据和现代机器学习的适用性。第一，尽管过去多数理论工作假设数据协方差矩阵满秩且良态，实证研究显示真实数据近似低秩。因此，我们假设数据矩阵为低秩。第二，我们放弃数据的独立性假设。第三，计算能力提升与数据维度增长使得研究非经典学习机制变得重要。因此，我们在非经典比例机制下工作，其中数据维度$d$与样本数$N$满足$d/N = c + o(1)$增长。对此设定，我们推导了去噪与噪声输入回归测试误差的数据依赖、实例特定表达式，并研究了噪声过拟合何时为良性、缓和或灾难性。我们展示了在一般分布偏移下测试误差呈现双下降，为数据增强及噪声作为隐式正则化器的作用提供见解。我们还使用真实数据进行了实验，在低秩数据上以低于1%的MSE误差匹配理论预测。