重要性加权是否与插值分类器不兼容？
机器学习
2022-03-07 v2 机器学习
摘要
重要性加权是处理分布偏移的经典技术。然而，已有工作给出了强有力的经验与理论证据，表明重要性权重在过参数化神经网络上可能几乎不起作用。重要性加权真的与过参数化神经网络的训练不兼容吗？本文给出否定回答。我们表明，重要性加权失效并非由于过参数化，而是由于使用了如 logistic 或交叉熵损失之类的指数尾损失。作为补救，我们证明多项式尾损失能恢复重要性重加权在纠正过参数化模型分布偏移中的效用。我们刻画了过参数化线性模型在重要性加权多项式尾损失上的梯度下降行为，并从理论上展示了在标签偏移设定下使用多项式尾损失的优势。令人惊讶的是，我们的理论表明，使用由经典无偏重要性权重取指数所得的权重可提升性能。最后，我们在子群体偏移与标签偏移数据集上通过神经网络实验证明了我们分析的实际价值。经重加权后，我们的损失函数在测试准确率上可比重加权交叉熵高出多达 9%。我们的损失函数还给出了与精心调优的、用于纠正分布偏移的 SOTA 方法相当甚至更优的测试准确率。
引用
@article{arxiv.2112.12986,
title = {Is Importance Weighting Incompatible with Interpolating Classifiers?},
author = {Ke Alexander Wang and Niladri S. Chatterji and Saminul Haque and Tatsunori Hashimoto},
journal= {arXiv preprint arXiv:2112.12986},
year = {2022}
}
备注
International Conference on Learning Representations (ICLR), 2022