理解深度学习中重要性加权在数据集偏移上的效果
机器学习
2025-06-18 v2
摘要
我们评估了在标签偏移和协变量偏移下，深度神经网络中重要性加权的有效性。在使用逻辑回归和多层感知机（MLP）的合成二维数据（线性可分和月牙形）上，我们观察到加权在训练早期强烈影响决策边界，但随着优化的延长而减弱。在具有各种类别不平衡的 CIFAR-10 上，只有 L2 正则化（而非 dropout）有助于保持加权效果。在一个协变量偏移实验中，重要性加权没有带来显著的性能提升，凸显了在复杂数据上的挑战。我们的结果对重要性加权在真实世界分布偏移中的实际效用提出了质疑。
引用
@article{arxiv.2505.03617,
title = {Understand the Effect of Importance Weighting in Deep Learning on Dataset Shift},
author = {Thien Nhan Vo},
journal= {arXiv preprint arXiv:2505.03617},
year = {2025}
}