通用贪婪去偏学习
机器学习
2023-01-20 v5 计算机视觉与模式识别
摘要
神经网络常依赖数据集中的伪相关而非感兴趣任务的内在属性进行预测，从而在分布外（OOD）测试数据上面临急剧退化。现有的去偏学习框架试图通过标注捕捉特定数据集偏置，但无法处理复杂的 OOD 场景。其他框架通过特殊设计的低能力偏置模型或损失隐式识别数据集偏置，但在训练与测试数据同分布时性能退化。本文中，我们提出一种通用贪婪去偏学习框架（GGD），其贪婪地训练偏置模型与基模型。基模型被鼓励关注那些偏置模型难以处理的样本，从而在测试阶段对伪相关保持鲁棒。GGD 大幅提升了模型在各类任务上的 OOD 泛化能力，但有时会高估偏置水平并在分布内测试上退化。我们进一步重新分析 GGD 的集成过程，并引入受课程学习启发的课程正则化，其在分布内与分布外性能间取得良好权衡。在图像分类、对抗问答和视觉问答上的大量实验证明了我们方法的有效性。GGD 可在既有基于先验知识的任务特定偏置模型、也无先验知识的自集成偏置模型设定下学习更鲁棒的基模型。
引用
@article{arxiv.2112.10572,
title = {General Greedy De-bias Learning},
author = {Xinzhe Han and Shuhui Wang and Chi Su and Qingming Huang and Qi Tian},
journal= {arXiv preprint arXiv:2112.10572},
year = {2023}
}
备注
This work has been accepted by IEEE T-PAMI. Copyright is transferred without notice, after which this version may no longer be accessible