排序与重加权提升组分布鲁棒性
机器学习
2023-05-11 v1 人工智能
计算与语言
机器学习
摘要
近期工作表明，通过经验风险最小化 (ERM) 的标准训练所产生的模型在平均意义上可达到高准确率，但因伪特征的普遍存在，在代表性不足组上准确率较低。解决该组鲁棒性问题的一种主流方法是在训练数据上最小化最差组误差（类似于极小极大策略），期望其在测试数据上良好泛化。然而这常是次优的，尤其当分布外 (OOD) 测试数据包含先前未见过的组时。受信息检索与学习排序文献启发，本文首先提出使用折扣累积增益 (DCG) 作为模型质量度量，以促进更好的超参数调优与模型选择。作为基于排序的度量，DCG 对多个表现不佳的组赋予权重（而非仅考虑表现最差的组）。作为自然下一步，我们基于结果提出一种称为折扣排序上加权 (DRU) 的基于排序的训练方法，该方法对训练数据中排序后的表现不佳组列表进行差异化重加权，以学习在测试数据上展现强劲 OOD 性能的模型。在多个合成与真实世界数据集上的结果凸显了我们基于组排序（类似于软极小极大）的方法在选择与学习对组分布偏移鲁棒的模型方面优越的泛化能力。
引用
@article{arxiv.2305.05759,
title = {Ranking & Reweighting Improves Group Distributional Robustness},
author = {Yachuan Liu and Bohan Zhang and Qiaozhu Mei and Paramveer Dhillon},
journal= {arXiv preprint arXiv:2305.05759},
year = {2023}
}