用于监督学习的排序值域和损失
机器学习
2022-04-05 v2 机器学习
摘要
在构建学习目标时，常常需要将一组个体值聚合为单一输出。此类情况出现在聚合损失中（其结合学习模型在每个训练样本上的个体损失），以及多标签学习的个体损失中（其结合所有类标签上的预测分数）。本工作中，我们引入排序值域和（SoRR）作为构建学习目标的通用方法。排序值域是一组实数排序值中的连续序列。SoRR 的最小化通过凸差算法（DCA）求解。我们探讨了 SoRR 框架最小化在机器学习中的两种应用，即样本级二分类/多分类的 AoRR 聚合损失，以及标签级多标签/多分类的 TKML 个体损失。我们提出 AoRR 与 TKML 的组合损失，作为在样本与标签均存在离群点时提升多标签学习鲁棒性的新学习目标。我们的实证结果凸显了所提优化框架的有效性，并展示了所提损失在合成与真实数据集上的适用性。
引用
@article{arxiv.2106.03300,
title = {Sum of Ranked Range Loss for Supervised Learning},
author = {Shu Hu and Yiming Ying and Xin Wang and Siwei Lyu},
journal= {arXiv preprint arXiv:2106.03300},
year = {2022}
}
备注
Accepted by Journal of Machine Learning Research (JMLR). arXiv admin note: text overlap with arXiv:2010.01741