面向实例依赖部分标签学习的渐进式纯化方法
机器学习
2023-05-11 v2
摘要
部分标签学习(PLL)旨在从这样的样本训练多类分类器：每个样本标注了一组候选标签，其中有一个固定但未知的候选标签是正确的。近年来，候选标签的实例无关生成过程已被广泛研究，在此基础上 PLL 取得了许多理论进展。然而，在实践中候选标签总是实例依赖的，并且没有理论保证在实例依赖的 PLL 样本上训练的模型能收敛到理想模型。本文提出一种有理论依据且实际有效的方法 POP，即面向实例依赖部分标签学习的渐进式纯化(PrOgressive Purification)。具体而言，POP 在每个 epoch 中渐进式地更新学习模型并纯化每个候选标签集。在理论上，我们证明 POP 以适当速度扩大模型可靠的区域，并最终在温和假设下逼近贝叶斯最优分类器。在技术层面，POP 可灵活搭配任意 PLL 损失，并能在实例依赖情形下提升已有 PLL 损失的性能。在基准数据集和真实世界数据集上的实验验证了所提方法的有效性。
引用
@article{arxiv.2206.00830,
title = {Progressive Purification for Instance-Dependent Partial Label Learning},
author = {Ning Xu and Biao Liu and Jiaqi Lv and Congyu Qiao and Xin Geng},
journal= {arXiv preprint arXiv:2206.00830},
year = {2023}
}
备注
Accepted to International Conference on Machine Learning 2023 (ICML 2023)