用于深度Top-k分类的光滑损失函数

top-k错误率是机器学习和计算机视觉中常用的性能度量。在实践中，top-k分类通常由使用交叉熵损失训练的深度神经网络执行。理论结果确实表明，在无限数据极限下，交叉熵是此类任务的最优学习目标。然而，在有限且含噪数据的情形下，使用专为top-k分类设计的损失函数可带来显著改进。我们的经验证据表明，损失函数必须是光滑的且具有非稀疏梯度，才能与深度神经网络良好协作。据此，我们引入了一族适用于通过深度学习进行top-k优化的光滑损失函数。广泛使用的交叉熵是我们这族函数的特例。评估我们的光滑损失函数在计算上具有挑战性：朴素算法需要$\mathcal{O}(\binom{n}{k})$次操作，其中n为类别数。借助与多项式代数的联系及分治方法，我们提供了时间复杂度为$\mathcal{O}(k n)$的算法。此外，我们提出了一种新颖的近似方法，以在单精度浮点的GPU上获得快速且稳定的算法。针对 predominant 用例k=5，我们在不同噪声与数据规模体制下比较了交叉熵损失与我们的基于间隔的损失之性能。我们的研究表明，相较于交叉熵，我们的损失对噪声与过拟合更具鲁棒性。