残差即教师：缓解学生-教师估计中的偏差传播
机器学习
2026-03-27 v1 机器学习
统计理论
统计理论
摘要
我们在学生-教师设定中研究统计估计，其中预训练教师的预测用于引导学生模型。标准方法是训练学生直接匹配教师的输出，我们称之为学生软匹配（Student Soft Matching, SM）。该方法直接传播教师中存在的任何系统性偏差或错误指定，从而降低学生的预测质量。我们提出并分析了一种替代方案，即残差即教师（Residual-as-Teacher, RaT），其中教师用于估计学生预测中的残差。我们的分析表明，学生从而可以模拟一种用于求解神谕优化问题的近端梯度方案，并且这被证明可以减轻教师偏差的影响。对于一般的学生-教师对，我们为任意 RaT 不动点建立了非渐近超额风险界，并为学生-教师迭代方案提供了收敛性保证。对于基于核的学生-教师对，我们证明了一个尖锐分离：RaT 方法达到了极小极大最优速率，而 SM 方法对任意样本量都产生恒定的预测误差。在合成数据和协变量偏移下的 ImageNette 分类实验证实了我们的理论发现。
引用
@article{arxiv.2603.25466,
title = {Residual-as-Teacher: Mitigating Bias Propagation in Student--Teacher Estimation},
author = {Kakei Yamamoto and Martin J. Wainwright},
journal= {arXiv preprint arXiv:2603.25466},
year = {2026}
}