无需预训练、在小数据集上利用余弦损失进行深度学习
机器学习
2019-12-12 v2 计算机视觉与模式识别
机器学习
摘要
在当代深度学习讨论中，有两件事似乎无可争议：1. softmax 激活后的分类交叉熵损失是分类的首选方法。2. 在小数据集上从头训练 CNN 分类器效果不好。与此相反，我们表明余弦损失函数在每类仅有少量样本的数据集上比交叉熵提供显著更好的性能。例如，在 CUB-200-2011 数据集上，不使用预训练时，其所达准确率比使用交叉熵损失时高出 30%。在其他流行数据集上的进一步实验证实了我们的发现。此外，我们证明以类层次形式整合先验知识在余弦损失下十分直接，并可进一步提升分类性能。
引用
@article{arxiv.1901.09054,
title = {Deep Learning on Small Datasets without Pre-Training using Cosine Loss},
author = {Björn Barz and Joachim Denzler},
journal= {arXiv preprint arXiv:1901.09054},
year = {2019}
}
备注
Presented at WACV 2020