基于自动特征重加权的简单快速分组鲁棒性方法
机器学习
2023-06-21 v1 机器学习
摘要
分布外泛化的一个主要挑战是对伪特征的依赖——即在训练数据分布中对类标签有预测性、但与目标无因果关系的模式。减少对伪特征依赖的标准方法通常假设我们知道伪特征是什么，而这在实际应用中很少成立。试图缓解此限制的方法复杂、难以调参，且相较于标准训练带来显著的计算开销。本文提出自动特征重加权（AFR），一种极其简单快速的更新模型以减少对伪特征依赖的方法。AFR 用加权损失重训标准 ERM 训练的基模型的最后一层，该损失强调 ERM 模型预测不佳的样本，从而在无分组标签的情况下自动提升少数组的权重。通过这一简单流程，我们在多个视觉与自然语言分类基准上，仅使用竞争方法计算量的一小部分，就超越了其所报告的在无伪属性训练下的最佳结果。
引用
@article{arxiv.2306.11074,
title = {Simple and Fast Group Robustness by Automatic Feature Reweighting},
author = {Shikai Qiu and Andres Potapczynski and Pavel Izmailov and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2306.11074},
year = {2023}
}
备注
ICML 23. Code available at https://github.com/AndPotap/afr