利用微调数据覆盖预训练偏差

迁移学习是有益的，它允许在大规模数据集上预训练的模型所具有的具表达力的特征被微调用于更小、更领域特定的数据集的目标任务。然而，存在一种担忧：这些预训练模型可能带有自身偏差，并会传播至微调模型中。本工作中，我们将偏差概念化为目标任务与敏感属性之间的虚假关联，以及数据集中特定群体的代表性不足这两种情形。在这两种偏差定义下，我们发现：(1) 基于预训练模型微调的模型确实会继承其偏差，但 (2) 该偏差可通过相对较小的微调数据集干预得以纠正，且通常对性能影响可忽略。我们的发现意味着，仔细策划微调数据集对于减少下游任务中的偏差十分重要，且这样做甚至可补偿预训练模型中的偏差。