从失败中学习:从有偏分类器训练去偏分类器
机器学习
2020-11-24 v2 机器学习
摘要
神经网络常学会做出过度依赖数据集中存在的虚假相关的预测,导致模型有偏。先前工作通过显式标注虚假相关属性或假定特定偏置类型来解决此问题,而我们则利用一种更廉价且通用的领域人类知识形式,可广泛适用于各类偏置。我们首先观察到,神经网络仅在虚假相关比期望知识“更易”学习时才依赖它,且这种依赖在训练早期最为显著。基于上述观察,我们提出一种基于失败的去偏方案,通过同时训练一对神经网络实现。我们的核心思想有两点:(a) 我们故意反复放大其“偏见”来训练第一个网络使其有偏;(b) 我们通过聚焦于与(a)中有偏网络的偏见相左的样本,去偏第二个网络的训练。大量实验表明,我们的方法在合成与真实世界数据集上显著改善了网络对各种偏置的训练。令人惊讶的是,我们的框架偶尔甚至优于需要虚假相关属性显式监督的去偏方法。
引用
@article{arxiv.2007.02561,
title = {Learning from Failure: Training Debiased Classifier from Biased Classifier},
author = {Junhyun Nam and Hyuntak Cha and Sungsoo Ahn and Jaeho Lee and Jinwoo Shin},
journal= {arXiv preprint arXiv:2007.02561},
year = {2020}
}