循环焦点损失
计算机视觉与模式识别
2022-06-17 v2 人工智能
机器学习
摘要
交叉熵 softmax 损失是用于训练深度神经网络的主要损失函数。另一方面，焦点损失函数已被证明在各类训练样本数量不平衡（如长尾数据集）时提供改进的性能。本文引入一种新颖的循环焦点损失，并证明它比交叉熵 softmax 损失或焦点损失更具通用性。我们描述了循环焦点损失背后的直觉，且实验提供证据表明循环焦点损失在平衡、不平衡或长尾数据集上均提供优越性能。我们给出了 CIFAR-10/CIFAR-100、ImageNet、CIFAR-10/CIFAR-100 的平衡与不平衡 4000 训练样本版本，以及来自开放长尾识别（OLTR）挑战的 ImageNet-LT 与 Places-LT 的大量实验结果。实现循环焦点损失函数仅需几行代码且不增加训练时间。为可复现起见，我们的代码见于 \url{https://github.com/lnsmith54/CFL}。
引用
@article{arxiv.2202.08978,
title = {Cyclical Focal Loss},
author = {Leslie N. Smith},
journal= {arXiv preprint arXiv:2202.08978},
year = {2022}
}