$\sigma^2$R Loss：基于 Sigmoid 函数乘性因子的加权损失
计算机视觉与模式识别
2020-09-30 v1 机器学习
摘要
在神经网络中，损失函数代表了引导优化器逼近最优收敛误差的学习过程核心。卷积神经网络（CNN）将损失函数用作监督信号来训练深度模型，并在人工视觉某些领域达到 SOTA 方面贡献显著。交叉熵与中心损失函数常用于增强所学函数的判别力并提升模型的泛化性能。中心损失最小化类内方差，同时惩罚每类内部深度特征间的长距离。然而，中心损失的总误差将受多数实例严重影响，并可能导致类内方差方面的冻结状态。为此，我们引入一种称为 sigma 平方缩减损失（R loss）的新损失函数，其由 sigmoid 函数调节以膨胀/收缩每实例误差，进而持续缩减类内方差。我们的损失具有清晰的直觉与几何解释，此外，我们通过实验在多个基准数据集上证明了所提方法的有效性，显示了类内方差的缩减并超越了使用中心损失与软最近邻函数所得结果。
引用
@article{arxiv.2009.08796,
title = {$\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions},
author = {Riccardo La Grassa and Ignazio Gallo and Nicola Landro},
journal= {arXiv preprint arXiv:2009.08796},
year = {2020}
}
备注
9 pages