UMIX：通过不确定性感知Mixup改进子群体偏移的重要性加权
机器学习
2023-01-04 v3
摘要
子群体偏移广泛存在于许多真实机器学习应用中，指训练与测试分布包含相同子群体组但子群体频率不同。重要性重加权是一种通过对训练数据集中每个样本施加常数或自适应采样权重来处理子群体偏移问题的常规方法。然而，近期一些研究认识到，大多数此类方法未能比经验风险最小化改善性能，尤其在应用于过参数化神经网络时。本工作中，我们提出一个简单而实用的框架，称为不确定性感知mixup（UMIX），通过依据样本不确定性对“混合”样本重加权来缓解过参数化模型中的过拟合问题。所提出的UMIX中配备了基于训练轨迹的不确定性估计，以灵活刻画每个样本的子群体分布。我们还提供了深入的理论分析，验证UMIX相较先前工作取得了更好的泛化界。此外，我们在广泛任务上进行了大量实证研究，从定性与定量两方面验证方法的有效性。代码见https://github.com/TencentAILabHealthcare/UMIX。
引用
@article{arxiv.2209.08928,
title = {UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup},
author = {Zongbo Han and Zhipeng Liang and Fan Yang and Liu Liu and Lanqing Li and Yatao Bian and Peilin Zhao and Bingzhe Wu and Changqing Zhang and Jianhua Yao},
journal= {arXiv preprint arXiv:2209.08928},
year = {2023}
}
备注
NeurIPS 2022