深入探究用于对抗未知偏置的识别—强调范式
机器学习
2023-02-23 v1
摘要
数据集偏置对模型鲁棒性和泛化能力危害显著，已是众所周知。识别—强调（identify-emphasize）范式在应对未知偏置方面看似有效。然而，我们发现其仍受两大挑战困扰：A，所识别的偏置冲突样本质量远不尽如人意；B，强调策略仅产生次优性能。本文中，针对挑战 A，我们提出一种有效的偏置冲突评分方法（ECS）以提升识别准确率，并辅以两种实用策略——同伴挑选（peer-picking）与轮次集成（epoch-ensemble）。针对挑战 B，我们指出梯度贡献统计可作为可靠指标，用以检视优化是否被偏置对齐样本主导。随后，我们提出梯度对齐（GA），其利用梯度统计在整个学习过程中动态平衡所挖掘的偏置对齐与偏置冲突样本的贡献，迫使模型利用内在特征做出公平决策。此外，我们将自监督（SS） pretext 任务引入训练，使模型能够利用更丰富的特征而非简单捷径，从而得到更鲁棒的模型。我们在多种设定下的多个数据集上开展实验，表明所提方案能缓解未知偏置的影响并达到最优性能。
引用
@article{arxiv.2302.11414,
title = {Delving into Identify-Emphasize Paradigm for Combating Unknown Bias},
author = {Bowen Zhao and Chen Chen and Qian-Wei Wang and Anfeng He and Shu-Tao Xia},
journal= {arXiv preprint arXiv:2302.11414},
year = {2023}
}