仅训练两次：无需训练组信息即可提升组鲁棒性
机器学习
2021-09-28 v2 人工智能
计算机与社会
机器学习
摘要
通过经验风险最小化（ERM）的标准训练所产生的模型可能在平均准确率上较高，但在某些组上准确率较低，尤其是在输入与标签之间存在虚假相关性时。先前实现较高最差组准确率的方法，如组分布鲁棒优化（group DRO），需要对每个训练点标注昂贵的组信息，而不使用此类组标注的方法通常最差组准确率不尽人意。在本文中，我们提出一种简单的两阶段方法 JTT：先训练一个标准 ERM 模型若干轮，然后训练第二个模型，该模型对第一个模型误分类的训练样本进行加权。直观上，这会对标准 ERM 模型表现较差的组中的样本加权，从而改善最差组性能。在四个具有虚假相关性的图像分类与自然语言处理任务上取平均，JTT 填补了标准 ERM 与 group DRO 之间最差组准确率差距的 75%，且仅需在小的验证集上标注组信息以调超参数。
引用
@article{arxiv.2107.09044,
title = {Just Train Twice: Improving Group Robustness without Training Group Information},
author = {Evan Zheran Liu and Behzad Haghgoo and Annie S. Chen and Aditi Raghunathan and Pang Wei Koh and Shiori Sagawa and Percy Liang and Chelsea Finn},
journal= {arXiv preprint arXiv:2107.09044},
year = {2021}
}
备注
International Conference on Machine Learning (ICML), 2021