先预测后插值：一种学习稳定分类器的简单算法
机器学习
2021-05-27 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
我们提出先预测后插值（PI），一种用于学习跨环境稳定的相关性的简单算法。该算法源于如下直觉：当使用在一个环境上训练的分类器对来自另一环境的样本进行预测时，其错误揭示了哪些相关性是不稳定的。在本文中，我们证明通过对正确预测与错误预测的分布进行插值，可以揭示一个不稳定相关性消失的 oracle 分布。由于无法获得 oracle 插值系数，我们使用群分布鲁棒优化来最小化所有此类插值中的最坏情况风险。我们在文本分类和图像分类上评估了我们的方法。实证结果表明，我们的算法能够学习鲁棒分类器（在合成环境上优于 IRM 23.85%，在自然环境上优于 12.41%）。我们的代码和数据可在 https://github.com/YujiaBao/Predict-then-Interpolate 获取。
引用
@article{arxiv.2105.12628,
title = {Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers},
author = {Yujia Bao and Shiyu Chang and Regina Barzilay},
journal= {arXiv preprint arXiv:2105.12628},
year = {2021}
}
备注
ICML 2021