面对绩效性偏移时模型再训练的局限性

我们研究了在绩效性偏移背景下的随机优化问题,其中数据分布会随部署模型的变化而改变。我们证明,即使是简单的分布偏移,朴素的再训练方法也可能被证明是次优的。当模型在每次再训练时仅基于有限数量的样本进行训练时,这个问题会变得更加严重。我们表明,在再训练过程中加入正则化可以同时解决这两个问题,从而在分布偏移面前获得可证明的最优模型。我们的工作提倡重新思考在存在绩效性效应时机器学习模型的再训练方式。