使用平均 Top-k 损失进行学习
机器学习
2017-12-21 v2 机器学习
摘要
在本工作中，我们引入了平均 top- (\atk) 损失作为监督学习的一种新的聚合损失，它是训练数据集中 个最大个体损失的平均值。我们表明，\atk 损失是两种广泛使用的聚合损失（即平均损失和最大损失）的自然推广，但能够结合它们的优势并减轻其缺点，以更好地适应不同的数据分布。此外，它在所有个体损失上仍然是凸函数，这可以导出凸优化问题，并可通过传统的基于梯度的方法有效求解。我们基于 \atk 损失对连续个体损失函数的等效作用给出了直观解释，表明它可以减少对正确分类数据的惩罚。我们进一步给出了 \matk 学习关于 \atk 损失的分类校准和 \atk-SVM 误差界的学习理论分析。我们使用合成和真实数据集展示了最小平均 top- 学习在二元分类和回归中的适用性。
关键词
引用
@article{arxiv.1705.08826,
title = {Learning with Average Top-k Loss},
author = {Yanbo Fan and Siwei Lyu and Yiming Ying and Bao-Gang Hu},
journal= {arXiv preprint arXiv:1705.08826},
year = {2017}
}
备注
18 pages