引入单边间隔损失求解深度网络中的分类问题
机器学习
2022-06-03 v1 计算机视觉与模式识别
摘要
本文提出一种新的损失函数 OSM（One-Sided Margin，单边间隔），以有效求解最大间隔分类问题。与 hinge 损失不同，在 OSM 中间隔由相应超参数显式确定，随后求解分类问题。实验中，我们观察到在若干常用深度模型用于分类与光学字符识别问题时，使用 OSM 损失比二值与分类交叉熵带来更快的训练速度与更优准确率。对于从小型到大型的神经网络，OSM 相较交叉熵与 hinge 损失始终展现出更优的分类准确率，并且带来了更高效的训练过程。我们在 CIFAR10（98.82%）、CIFAR100（91.56%）、Flowers（98.04%）、Stanford Cars（93.91%）等多个基准数据集上以小型网络取得了 SOTA 准确率，较其他损失函数有显著提升。此外，对大型网络其准确率也优于交叉熵与 hinge 损失。因此，我们坚信 OSM 是训练深度神经网络处理分类任务时 hinge 与交叉熵损失的有力替代。
引用
@article{arxiv.2206.01002,
title = {Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks},
author = {Ali Karimi and Zahra Mousavi Kouzehkanan and Reshad Hosseini and Hadi Asheri},
journal= {arXiv preprint arXiv:2206.01002},
year = {2022}
}