以自省式自我博弈推进准确性-群体鲁棒性前沿
机器学习
2023-02-14 v1 机器学习
摘要
标准经验风险最小化（ERM）训练可产生平均准确但其在代表性不足的人口子群体中表现不佳的深度神经网络（DNN）模型，尤其当长尾训练数据中存在不平衡的群体分布时。因此，改进 DNN 模型的准确性-群体鲁棒性权衡前沿（即在不牺牲平均准确率的前提下提升最差群体准确率，或反之）至关重要。基于不确定性的主动学习（AL）可通过优先采样代表性不足的子群体来创建更平衡的训练集，从而潜在地改进该前沿。然而，现代 DNN 的不确定性估计质量在存在虚假相关与数据集偏倚时往往退化，削弱了 AL 采样尾部群体的有效性。本工作中，我们提出自省式自我博弈（ISP），一种在数据集偏倚下改进深度神经网络不确定性估计的简单方法，其通过增加辅助自省任务，要求模型除预测标签外还预测各数据点的偏倚。我们证明 ISP 可证明地提升模型表征的偏倚觉察能力及由此得到的不确定性估计。在两个真实的表格与语言任务上，ISP 作为 AL 模型训练的简单“插件”，持续提升了流行 AL 方法的尾部群体采样率及最终准确性-公平性权衡前沿。
引用
@article{arxiv.2302.05807,
title = {Pushing the Accuracy-Group Robustness Frontier with Introspective Self-play},
author = {Jeremiah Zhe Liu and Krishnamurthy Dj Dvijotham and Jihyeon Lee and Quan Yuan and Martin Strobel and Balaji Lakshminarayanan and Deepak Ramachandran},
journal= {arXiv preprint arXiv:2302.05807},
year = {2023}
}
备注
Accepted to ICLR 2023. Included additional contribution from Martin Strobel