AGRO：面向鲁棒优化的错误易发组对抗发现
机器学习
2022-12-12 v2 人工智能
计算与语言
摘要
通过经验风险最小化（ERM）训练的模型已知依赖于标签与任务无关输入特征之间的伪相关，导致对分布偏移的泛化能力差。组分布鲁棒优化（G-DRO）可通过最小化训练数据上预定义组集合的最坏情况损失来缓解此问题。G-DRO 成功提升了相关性不成立的 Worst-Group 的性能。然而，G-DRO 假设伪相关及关联的 worst groups 事先已知，使其难以应用于具有潜在多个未知伪相关的新任务。我们提出 AGRO——面向分布鲁棒优化的对抗组发现——一种端到端方法，联合识别错误易发组并提升其在这些组上的准确率。AGRO 为 G-DRO 配备一个对抗切片模型，以为训练样本寻找使所发现组上的最坏情况损失最大化的组分配。在 WILDS 基准上，与先前用于 G-DRO 的组发现方法相比，AGRO 在已知 worst-groups 上平均带来 8% 更高的模型性能。AGRO 还在 SST2、QQP 和 MS-COCO 上提升了分布外性能——这些数据集上潜在伪相关尚未被刻画。对 ARGO 组的人工评估表明，它们包含定义良好但此前未研究的导致模型错误的伪相关。
引用
@article{arxiv.2212.00921,
title = {AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization},
author = {Bhargavi Paranjape and Pradeep Dasigi and Vivek Srikumar and Luke Zettlemoyer and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2212.00921},
year = {2022}
}