强一致性保证的多标签学习

我们对多标签学习中的代理损失和算法进行详细研究，基于 H-一致性界限。首先，我们表明对于最简单的多标签损失形式（即流行的 Hamming 损失），使用诸如 logistic 损失等光滑损失时，众所周知的一致性二元相关代理损失在 H-一致性界限上对标签数量存在亚最优依赖。此外，这种损失函数未能考虑标签之间的相关性。为此，我们引入一种新型代理损失——多标签 logistic 损失，该损失考虑了标签之间的相关性，并获得了标签独立的 H-一致性界限。我们随后将分析范围拓展至更广泛的多标签损失家族，包括所有常见损失以及一种新扩展损失，其基于相对于混淆矩阵的线性分数函数。我们还将多标签 logistic 损失扩展为更为全面的多标签 comp-sum 损失，将标准分类中的 comp-sum 损失适用于多标签学习。我们证明了这一损失家族在任何通用多标签损失下都能获得 H-一致性界限，从而实现贝叶斯一致性。因此，本工作提出了一个为任意多标签损失提供强一致性保证的统一代理损失框架，显著扩展了仅为特定损失函数建立贝叶斯一致性的前期工作。此外，我们类似地将受约束损失从标准分类扩展为多标签受约束损失，这些损失也能获得 H-一致性界限，从而实现任意多标签损失的贝叶斯一致性。我们进一步描述了高效梯度计算算法，用于最小化多标签 logistic 损失。