隐空间对抗去偏：缓解深度神经网络中的对撞机偏倚
机器学习
2020-11-24 v1
摘要
对撞机偏倚是一种有害的样本选择偏倚形式，神经网络难以妥善处理。当底层因果信号由于训练数据收集过程而与其他混杂信号强相关时，这种偏倚便会显现。在混杂信号易于学习的情形下，深度神经网络会依附于该信号，由此得到的模型在真实场景测试中将泛化不佳。我们在此论证，失败的原因在于神经网络深层结构与所采用的贪婪梯度驱动学习过程的结合——后者在存在易计算信号时会偏好此类信号。我们表明，即便训练数据中混杂信号存在比例达100%，也可通过使用隐空间对抗去偏（LAD）生成偏倚解耦的训练数据来对此加以缓解。通过在所述对抗样本上训练神经网络，我们可改善其在对撞机偏倚设定下的泛化能力。实验显示，LAD在无标签去偏中取得最先进性能，在背景着色MNIST上提升76.12%，在前景着色MNIST上提升35.47%，在受损CIFAR-10上提升8.27%。
引用
@article{arxiv.2011.11486,
title = {Latent Adversarial Debiasing: Mitigating Collider Bias in Deep Neural Networks},
author = {Luke Darlow and Stanisław Jastrzębski and Amos Storkey},
journal= {arXiv preprint arXiv:2011.11486},
year = {2020}
}
备注
10 pages, 4 figures, submitted to AISTATS 2021