深度学习损失函数下 Top-k 分类精度的权衡分析
机器学习
2020-07-31 v1 机器学习
摘要
本文针对深度学习损失函数下 top-k 分类精度的权衡进行了实验分析,并提出了一种新颖的 top-k 损失。常用的交叉熵(CE)在无无限训练数据与模型复杂度的情况下,无法保证优化 top-k 预测。我们的目标是阐明 CE 何时为优化 top-1 预测而牺牲 top-k 精度,并设计在此类条件下提升 top-k 精度的损失。我们的新损失本质上是将时间上的 top-k 类归并为单一类来修正的 CE。为获得鲁棒的决策边界,我们引入了从普通 CE 到我们损失的自适应过渡,因此称之为 top-k 过渡损失。实验表明,CE 并非学习 top-k 预测的最佳选择。首先,我们在合成数据集上探究了 top-1 与 top-k(=2)精度之间的权衡,并发现当给定模型所代表的最优 top-1 预测面临复杂数据分布时,CE 在优化 top-k 预测上会失效。其次,我们在 CIFAR-100 数据集上比较了面向深度学习 top-5 预测的 top-k 精度。尽管 CE 在 top-1 精度上表现最佳,但在 top-5 精度上,除一种实验设置外,我们的损失均优于 CE。此外,我们发现当 k 大于 10 时,我们的损失相比 CE 能提供更好的 top-k 精度。结果表明,使用我们的损失训练的 ResNet18 模型在 k=25 个候选下达到了 99% 的精度,比 CE 所需的候选数少 8 个。
引用
@article{arxiv.2007.15359,
title = {Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning},
author = {Azusa Sawada and Eiji Kaneko and Kazutoshi Sagi},
journal= {arXiv preprint arXiv:2007.15359},
year = {2020}
}
备注
Submitted to ICPR 2020