面向含缺失标签极端分类的无偏损失函数
机器学习
2020-07-02 v1 机器学习
摘要
极端多标签分类（XMC）的目标是从极大规模的可能标签集中为实例标注一个小的相关标签子集。除由大量训练实例、特征与标签带来的计算负担外，XMC 问题还面临两个统计挑战：（i）大量“长尾标签”——即出现频率极低的标签；（ii）缺失标签，因为几乎不可能为每个实例手动分配所有相关标签。本工作中，我们针对可分解到各标签的一般损失函数形式推导了无偏估计量，并由此推出常用损失函数如 hinge 损失、平方 hinge 损失与二元交叉熵损失的形式。我们表明所推导的无偏估计量以适当权重因子的形式可轻松融入最先进的极端分类算法中，从而扩展到具有数十万标签的数据集。然而，经验上我们发现略微改动、对长尾标签赋予更高相对权重的版本表现更优。我们推测这是由于数据集中的标签不平衡，而理论上推导的估计量并未显式处理该问题。最小化所提损失函数在 XMC 基准数据集上相较现有方法取得显著提升（某些情况下达 20%）。
引用
@article{arxiv.2007.00237,
title = {Unbiased Loss Functions for Extreme Classification With Missing Labels},
author = {Erik Schultheis and Mohammadreza Qaraei and Priyanshu Gupta and Rohit Babbar},
journal= {arXiv preprint arXiv:2007.00237},
year = {2020}
}