利用自监督与自蒸馏在有限数据场景下实现公平视觉识别
计算机视觉与模式识别
2021-07-02 v1
摘要
深度学习模型通常会学习训练数据中存在的偏差。研究者已提出若干方法来缓解此类偏差并使模型公平。偏差缓解技术假设存在足够大量的训练样本。然而,我们观察到如果训练数据有限,则偏差缓解方法的有效性会严重下降。在本文中,我们提出一种新方法来解决该问题。具体而言,我们采用自监督与自蒸馏来减少该设定下偏差对模型的影响。自监督与自蒸馏并非用于偏差缓解。但通过本工作,我们首次证明这些技术在偏差缓解方面非常有效。我们通过实证表明,我们的方法能显著减少模型学到的偏差。此外,我们通过实验证明我们的方法与其他偏差缓解策略互补。我们的方法显著提升了它们的性能,并在有限数据场景下进一步减少了模型偏差。具体而言,在 L-CIFAR-10S 偏斜数据集上,我们的方法将基线模型的偏差分数显著降低了 78.22%,并在准确率上以 8.89% 的显著绝对优势超越基线。它还将最先进的领域无关偏差缓解方法的偏差分数显著降低了 59.26%,并将其性能提升了 7.08% 的显著绝对优势。
引用
@article{arxiv.2107.00067,
title = {Fair Visual Recognition in Limited Data Regime using Self-Supervision and Self-Distillation},
author = {Pratik Mazumder and Pravendra Singh and Vinay P. Namboodiri},
journal= {arXiv preprint arXiv:2107.00067},
year = {2021}
}
备注
Under Review