Debiasify：用于无监督偏差缓解的自蒸馏
计算机视觉与模式识别
2024-11-04 v1 机器学习
摘要
简单性偏差是神经网络面临的重大挑战，常导致模型倾向于选择更简单的解决方案，进而不经意地学习由偶发相关性驱动的决策规则，结果导致偏差模型的泛化能力下降。虽然许多当前方法依赖人类监督，但获取各种偏差属性的注释往往难以实现。为此，我们引入Debiasify，这是一种 novel 自蒸馏方法，无需关于偏差性质的先验知识。该方法利用新的蒸馏损失函数，在无监督 manner 中将知识从包含复杂、高度可预测特征的深层传递到具有更简单、受属性条件制约的浅层，从而使Debiasify能够学习具有鲁棒性的、无偏差的表示，并在 diverse biases and datasets 上实现良好的泛化，提高 worst-group performance 和总体准确性。在计算机视觉和医学影像基准测试中进行了广泛实验，表明该方法有效地显著优于以前的无监督偏差缓解方法（例如在 CelebA 上进行 Wavy Hair 分类可实现 10.13% 的 worst-group accuracy 提升），并在 comparable 或更好性能上优于监督方法。我们的代码已公开提供。
引用
@article{arxiv.2411.00711,
title = {Debiasify: Self-Distillation for Unsupervised Bias Mitigation},
author = {Nourhan Bayasi and Jamil Fayyad and Ghassan Hamarneh and Rafeef Garbi and Homayoun Najjaran},
journal= {arXiv preprint arXiv:2411.00711},
year = {2024}
}
备注
Accepted at the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV2025)