EnD：用于偏差纠正的深度表征纠缠与解纠缠方法
计算机视觉与模式识别
2022-12-29 v1 人工智能
机器学习
摘要
人工神经网络在越来越多的任务上达到最先进水平，如今被用于解决极其多样的任务。存在一些诸如训练数据中存在偏差的问题，质疑了这些模型的泛化能力。在本工作中，我们提出 EnD，一种旨在防止深度模型学习非预期偏差的正则化策略。具体而言，我们在深度神经网络的某处插入一个“信息瓶颈”，在此处解纠缠关于偏差的信息，同时让对训练任务有用的信息在模型的其余部分中前向传播。EnD 的一大优势是我们不需要额外的训练复杂度（如解码器或模型中的额外层），因为它是一种直接应用于已训练模型的正则化器。我们的实验表明，EnD 有效提升了在无偏测试集上的泛化能力，并且可以有效应用于真实场景，例如消除 COVID-19 radiographic 图像检测中的隐藏偏差。
引用
@article{arxiv.2103.02023,
title = {EnD: Entangling and Disentangling deep representations for bias correction},
author = {Enzo Tartaglione and Carlo Alberto Barbano and Marco Grangetto},
journal= {arXiv preprint arXiv:2103.02023},
year = {2022}
}