通过异常检测视角考察模型去偏

人们普遍认识到，深度神经网络对数据中的偏见高度敏感。这意味着在训练期间，这些模型可能会学习到数据与标签之间的伪相关，从而导致泛化能力受限和性能低下。在此背景下，可以设计模型去偏方法，以减少模型对此类不必要相关性的依赖，无论是利用偏见信息还是不利用。在本工作中，我们关注后者更现实的情境，通过准确预测偏见冲突和偏见对齐样本来获得卓越的偏见缓解性能。基于此，我们提出将模型偏见问题从越域分布的角度加以考虑，引入一种基于异常检测的新型偏见识别方法。我们认为，当数据主要存在偏见时，偏见冲突样本相对于偏见对齐分布的特征空间中的异常值，从而允许使用异常检测方法精确识别它们。将所提出的偏见识别方法与偏见冲突数据上采样和增强相结合，采用两步策略，我们在合成和真实基准数据集上实现了最先进的性能。最终，我们的方法表明，数据偏见问题并不一定需要复杂的去偏方法，给定准确的偏见识别程序即可。源代码可在 https://github.com/Malga-Vision/MoDAD 获取。