PolyLoss：分类损失函数的多项式展开视角
计算机视觉与模式识别
2022-05-12 v2
摘要
在训练用于分类问题的深度神经网络时，交叉熵损失和 focal loss 是最常见的选择。然而，一般而言，一个好的损失函数可以采取更灵活的形式，并且应该针对不同的任务和数据集进行定制。受函数如何通过泰勒展开来近似的启发，我们提出了一个简单的框架，名为 PolyLoss，将损失函数视为多项式函数的线性组合来审视和设计。我们的 PolyLoss 允许根据不同目标任务和数据集轻松调整不同多项式基的重要性，同时自然地将前述的交叉熵损失和 focal loss 作为特例包含在内。广泛的实验结果表明，PolyLoss 中的最优选择确实依赖于任务和数据集。仅仅通过引入一个额外的超参数并添加一行代码，我们的 Poly-1 公式在 2D 图像分类、实例分割、目标检测和 3D 目标检测任务上，性能优于交叉熵损失和 focal loss，有时优势显著。
引用
@article{arxiv.2204.12511,
title = {PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions},
author = {Zhaoqi Leng and Mingxing Tan and Chenxi Liu and Ekin Dogus Cubuk and Xiaojie Shi and Shuyang Cheng and Dragomir Anguelov},
journal= {arXiv preprint arXiv:2204.12511},
year = {2022}
}
备注
Add ablation studies on COCO detection using RetinaNet (Section 8)