CosFairNet：基于参数空间的方法实现无偏学习
计算机视觉与模式识别
2024-10-22 v1 机器学习
摘要
在偏置数据上训练的深度神经网络往往会不小心地学习到意外的推断规则，特别是当标签与偏置特征高度相关时。现有的偏置缓解方法通常涉及以下两种策略：a) 预定义偏置类型并将其作为先验知识强加；或 b) 对训练样本进行重新加权，以强调与偏置冲突的样本而非与偏置一致的样本。然而，这两种策略都以间接方式处理偏置，处于特征或样本空间，且无法控制所学习权重的分布，使得在不同层之间控制偏置传播困难。基于此观察，我们提出了一种直接在模型参数空间中处理偏置的新方法，防止其在不同层之间传播。我们的方法涉及训练两个模型：一个用于偏置特征的偏置模型，一个用于无偏细节的去偏置模型，由偏置模型引导。在训练期间，我们强制去偏置模型的后期层与偏置模型相似，而其前期层相异，以确保其在学习无偏的低层特征，而不采用偏置的高层抽象。通过在训练期间包含这一显式约束，我们的方法在各种大小不同的合成和真实数据集上显示出更高的分类准确率和去偏置效果。此外，该方法在不同偏置类型以及训练数据中偏置样本比例方面表现出鲁棒性。代码可在 https://visdomlab.github.io/CosFairNet/ 获取。
引用
@article{arxiv.2410.15094,
title = {CosFairNet:A Parameter-Space based Approach for Bias Free Learning},
author = {Rajeev Ranjan Dwivedi and Priyadarshini Kumari and Vinod K Kurmi},
journal= {arXiv preprint arXiv:2410.15094},
year = {2024}
}