SWiFT：软掩码权重微调用于偏见缓解

最近的研究表明，机器学习（ML）模型在现实场景中可能 exhibit 偏见，这在医疗等伦理敏感领域构成重大挑战。这种偏见可能对模型的公平性、泛化能力产生负面影响，并进一步增加社会歧视的风险。有必要从训练好的模型中移除偏见。现有的去偏方法通常需要访问原始训练数据并需要大量模型重新训练；而且通常在模型公平性和判别性能之间存在权衡。为此，我们提出 Soft-Mask Weight Fine-Tuning（SWiFT），一种高效改善公平性同时保持判别性能的去偏框架，其去偏成本显著降低。值得注意的是，SWiFT 只需要一个小型外部数据集和少量模型微调。SWiFT 的核心思想是首先找到模型参数对偏见和预测性能的相对且独特的贡献。随后，采用不同的梯度流进行微调，以其贡献为依据更新每个参数。广泛的实验在三个偏见敏感属性（性别、肤色和年龄）上进行，涵盖四个皮肤科和两个胸部 X 光数据集，表明 SWiFT 能持续减少模型偏见，同时在常见的公平性和准确性指标下实现与最先进方法相当甚至更好的诊断准确率。具体而言，我们证明了 SWiFT 能通过在多个离分布（OOD）数据集上的优异表现，提高了模型的泛化能力。