一种基于潜特征预定义最优分布、无 Softmax 的深度学习分类器损失函数
计算机视觉与模式识别
2022-10-24 v2 机器学习
摘要
在模式分类领域，深度学习分类器的训练多为端到端学习，损失函数是对网络最终输出（后验概率）的约束，因此 Softmax 的存在必不可少。在端到端学习情况下，通常没有有效的损失函数完全依赖中间层特征来约束学习，导致样本潜特征分布并非最优，因而分类精度仍有提升空间。基于预定义均匀分布类中心（PEDCC）的概念，本文提出一种基于潜特征预定义最优分布、无 Softmax 的损失函数——POD Loss。该损失函数仅约束样本的潜特征，包括样本潜特征向量与预定义均匀分布类中心之间的范数自适应余弦距离，以及样本潜特征之间的相关性。最后使用余弦距离进行分类。与常用的 Softmax Loss、若干典型 Softmax 相关损失函数及 PEDCC-Loss 相比，在多个典型深度学习分类网络上多个常用数据集的实验表明，POD Loss 的分类性能始终显著更优且更易收敛。代码见 https://github.com/TianYuZu/POD-Loss。
引用
@article{arxiv.2111.15449,
title = {A Softmax-free Loss Function Based on Predefined Optimal-distribution of Latent Features for Deep Learning Classifier},
author = {Qiuyu Zhu and Xuewen Zu},
journal= {arXiv preprint arXiv:2111.15449},
year = {2022}
}