DeNetDM：通过网络深度调制实现去偏
机器学习
2024-11-07 v4 计算机视觉与模式识别
摘要
在有偏数据集上训练的神经网络往往会无意中学习到虚假相关性，从而阻碍泛化。我们形式化地证明了：（1）表现出虚假相关性的样本位于一个相对于不表现虚假相关性的样本更低秩的流形上；（2）网络的深度充当了对其表示中编码的属性子空间秩的隐式正则化器。利用这些见解，我们提出了 DeNetDM，一种新颖的去偏方法，该方法将网络深度调制作为增强对虚假相关性鲁棒性的一种方式。我们使用源自专家乘积的训练范式，创建了具有深层和浅层架构的有偏和去偏分支，然后通过知识蒸馏产生目标去偏模型。我们的方法不需要任何偏置标注或显式数据增强，同时性能与需要其中一种或两种的方法相当。我们证明，DeNetDM 在合成和真实世界数据集上均优于现有去偏技术 5%。项目页面见 https://vssilpa.github.io/denetdm/。
引用
@article{arxiv.2403.19863,
title = {DeNetDM: Debiasing by Network Depth Modulation},
author = {Silpa Vadakkeeveetil Sreelatha and Adarsh Kappiyath and Abhra Chaudhuri and Anjan Dutta},
journal= {arXiv preprint arXiv:2403.19863},
year = {2024}
}
备注
Camera-ready version : NeurIPS 2024, * indicates these authors contributed equally