通过 logit 调整实现长尾学习
机器学习
2021-07-13 v2 机器学习
摘要
现实世界的分类问题通常表现出不平衡或长尾的标签分布，其中许多标签仅关联极少样本。这给此类标签上的泛化带来挑战，也使朴素学习偏向主导标签。本文中，我们提出对标准 softmax 交叉熵训练的两处简单修改以应对这些挑战。我们的技术重新审视基于标签频率的 logit 调整经典思想，既可在训练后应用于已训练模型，也可在训练损失中强制实施。此类调整鼓励稀有标签与主导标签的 logit 之间具有较大的相对间隔。这些技术统一并推广了文献中若干近期方案，同时具备更坚实的统计基础与经验性能。
引用
@article{arxiv.2007.07314,
title = {Long-tail learning via logit adjustment},
author = {Aditya Krishna Menon and Sadeep Jayasumana and Ankit Singh Rawat and Himanshu Jain and Andreas Veit and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2007.07314},
year = {2021}
}
备注
Published as a conference paper in ICLR 2021