通过惩罚变化微调减少预训练模型中的偏差

在大量数据上训练的深度模型通常包含训练时存在的隐含偏差。如果在推理或部署过程中发现这种偏差，通常需要获取新数据并重新训练模型。这种行为在自动驾驶或医疗决策等关键领域尤其成问题。在这些场景中，新数据通常昂贵且难以获得。在这项工作中，我们提出了一种基于变化惩罚的方法，该方法采用预训练模型并调整权重以减轻先前检测到的偏差。我们通过微调冻结预训练网络的零初始化副本来实现这一点。我们的方法只需要很少的（极端情况下只有一个）与偏差相矛盾的样本来提高性能。此外，我们提出了一个早停准则来修改基线并减少过拟合。我们在皮肤病变分类中一个众所周知的偏差以及来自域迁移文献的其他三个数据集上评估了我们的方法。我们发现我们的方法在图像数量非常少时效果特别好。简单的微调结合我们的早停准则在更多微调样本时也带来了性能提升。