输出稀疏性对多标签分类的益处
统计理论
2017-03-16 v1 机器学习
机器学习
统计理论
摘要
多标签分类框架（其中每个观测可与一组标签相关联）近年来引起了极大关注。现代多标签问题通常在观测数、特征数和标签数方面是大规模的，且标签数量甚至可与观测数量相媲美。在此背景下，人们提出了不同的补救方法来克服维数灾难。在这项工作中，我们旨在通过引入一种称为稀疏加权汉明损失（sparse weighted Hamming loss）的新损失来利用输出稀疏性。该提出的损失可视为经典损失的加权版本，其中活跃与非活跃标签被分别加权。利用损失函数中的稀疏性影响，我们为经验风险最小化器提供了改进的泛化界，这是大规模问题的一个合适性质。对于这一新损失，我们推导出了关于底层输出稀疏性呈线性而非关于标签数量呈线性的收敛速率。在实践中，通过使用凸替代损失和现代凸优化算法，可以高效最小化相关风险。我们在各种真实世界数据集上提供了实验，证明了我们的方法相较于非加权技术的适用性。
引用
@article{arxiv.1703.04697,
title = {On the benefits of output sparsity for multi-label classification},
author = {Evgenii Chzhen and Christophe Denis and Mohamed Hebiri and Joseph Salmon},
journal= {arXiv preprint arXiv:1703.04697},
year = {2017}
}