面向深度不平衡分类的Top-K校准铰链损失的随机平滑
机器学习
2022-07-19 v2 机器学习
摘要
在现代分类任务中，标签数量以及实践中遇到的数据集规模都越来越大。随着类别数增加，类模糊和类不平衡对实现高top-1准确率变得愈发成问题。同时，Top-K度量(允许K次猜测的度量)已变得流行，尤其在性能报告中。然而，提出专为深度学习定制的top-K损失在理论和实践上仍具挑战。本文受近期top-K校准损失发展的启发，引入一种随机top-K铰链损失。我们的方案基于top-K算子的平滑，构建于灵活的“扰动优化器”框架之上。我们表明，在平衡数据集情况下我们的损失函数表现非常好，同时比最先进的top-K损失函数计算时间显著更低。此外，我们针对不平衡情况提出损失的一个简单变体。在重尾数据集上的实验表明，我们的损失函数显著优于其他基线损失函数。
引用
@article{arxiv.2202.02193,
title = {Stochastic smoothing of the top-K calibrated hinge loss for deep imbalanced classification},
author = {Camille Garcin and Maximilien Servajean and Alexis Joly and Joseph Salmon},
journal= {arXiv preprint arXiv:2202.02193},
year = {2022}
}