去偏外科医生：神奇的权重及其发现方法
机器学习
2024-07-22 v2 人工智能
计算机视觉与模式识别
计算机与社会
摘要
如今，一个日益令人担忧的现象出现了：算法偏差可能导致不公平的模型。在深度学习领域，已经提出了几种去偏方法，采用或多或少复杂的方法来阻止这些模型大量使用这些偏差。然而，一个问题出现了：这种额外的复杂性真的必要吗？一个普通训练的模型是否已经包含了一些“无偏子网络”，可以单独使用，并在不依赖算法偏差的情况下提供解决方案？在这项工作中，我们表明这样的子网络通常存在，并且可以从普通训练的模型中提取出来，而无需额外的训练。我们进一步验证了这种特定架构无法学习特定偏差，这表明可能存在针对深度神经网络偏差问题的架构对策。
引用
@article{arxiv.2403.14200,
title = {Debiasing surgeon: fantastic weights and how to find them},
author = {Rémi Nahon and Ivan Luiz De Moura Matos and Van-Tam Nguyen and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2403.14200},
year = {2024}
}