在极小极大博弈中建模 Q-多样性以实现鲁棒优化
计算与语言
2023-05-23 v1
摘要
以经验风险最小化（ERM）训练的模型被揭示容易依赖虚假相关性，导致泛化能力差。分组分布鲁棒优化（group DRO）可通过最小化预定义分组上的最坏情况损失来缓解该问题。尽管有前景，实践中诸如标注昂贵和隐私等因素排除了组标签的可用性。更关键的是，细察分布外泛化的失败模式时，group DRO 中典型的重加权过程效率低下。鉴于这些局限，本工作中我们通过提出 Q-多样性重新表述了 group DRO 框架。Q-多样性以交互式训练模式为特征，将组识别从标注放宽为直接参数化。此外，提出了一种跨组的新颖混合策略以使代表性不足组多样化。在合成和真实世界文本分类任务的一系列实验中，结果表明 Q-多样性能在不同分布偏移下持续提升最坏情况准确率，优于最先进的替代方法。
引用
@article{arxiv.2305.12123,
title = {Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization},
author = {Ting Wu and Rui Zheng and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2305.12123},
year = {2023}
}
备注
Findings of ACL 2023