关于 Top-k 替代损失的一致性
机器学习
2020-07-09 v2 机器学习
摘要
top- 误差常用于评估计算机视觉中具挑战性分类任务的性能，因为它旨在补偿真值标签中的歧义。这一实际成功促使我们对一致的 top- 分类进行理论分析。令人惊讶的是，尽管取一个向量的 -argmax 以保证返回另一个向量的 -argmax 对于描述贝叶斯最优性至关重要，但何时成立尚未被严格理解；我们同时完成了这两项工作。然后，我们定义 top- 校准并证明它是一致性的必要且充分条件。基于 top- 校准分析，我们提出了一类 top- 校准的 Bregman 散度替代损失。我们的分析继续表明，先前提出的类铰链 top- 替代损失不是 top- 校准的，并暗示不存在凸的铰链损失是 top- 校准的。另一方面，我们提出了一种新的铰链损失，它是一致的。我们进一步探索，表明我们的铰链损失在限制为线性函数时仍保持一致，而交叉熵则不然。最后，我们展示了一个可微的、凸的损失函数，它对特定的 是 top- 校准的。
引用
@article{arxiv.1901.11141,
title = {On the Consistency of Top-k Surrogate Losses},
author = {Forest Yang and Sanmi Koyejo},
journal= {arXiv preprint arXiv:1901.11141},
year = {2020}
}