偏好进入，偏好输出？从标准模型中寻找无偏子网络
机器学习
2026-05-14 v2 计算机视觉与模式识别
摘要
深度学习中的算法偏好问题已催生 various debiasing 技术的发展，许多技术需要复杂的训练程序或数据集操作。然而，一个引人入胜的问题随之而来：是否可能在不依赖额外数据（如无偏训练集）的情况下，从标准已训练模型中提取出公平且偏好中性的子网络？本文引入 Bias-Invariant Subnetwork Extraction (BISE)，这是一种学习策略，用于在不重新训练或微调原始参数的情况下识别并隔离已存在于常规训练模型中的“偏好自由”子网络。我们的研究表明，这些子网络可以通过修剪提取，且无需修改即可正常运行，有效地依赖较少的偏好特征并保持稳健的性能。我们的发现促进了通过参数移除对预训练神经网络进行结构性适应的高效偏好缓解，与需要数据中心或涉及（重新）训练所有模型参数的高成本策略形成对比。广泛的基准实验表明，我们的方法在结果的性能和计算效率方面具有优势。
引用
@article{arxiv.2603.05582,
title = {Bias In, Bias Out? Finding Unbiased Subnetworks in Vanilla Models},
author = {Ivan Luiz De Moura Matos and Abdel Djalil Sad Saoud and Ekaterina Iakovleva and Vito Paolo Pastore and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2603.05582},
year = {2026}
}
备注
This work has been accepted for publication at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026