大型袋中标签比例扰动的理论分析：用于从标签比例学习
机器学习
2024-08-27 v1
摘要
从标签比例学习（LLP）是一种弱监督学习方法，通过标签比例训练实例级别的分类器，而不使用实例标签。LLP 的挑战在于，当袋中实例数量众多时（袋规模），传统 LLP 方法因 GPU 内存限制而难以实现。本研究旨在开发一种能够从大规模袋中学习的 LLP 方法。在我们的方法中，通过从大规模袋（原始袋）中抽样生成较小的袋（mini-bag），并使用这些 mini-bag 来替代原始袋。然而，mini-bag 的比例未知且与原始袋的比例不同，导致过拟合。为解决此问题，我们提出一种针对抽样 mini-bag 比例标签的扰动方法，以缓解对噪声比例标签的过拟合。该扰动基于多变量超几何分布进行统计建模。此外，实施损失加权以减少来自分布尾部的比例样本的负面影响。实验结果表明，比例标签扰动和损失加权实现的分类准确率与无抽样情况下相当。我们的代码已公开于 https://github.com/stainlessnight/LLP-LargeBags。
引用
@article{arxiv.2408.14130,
title = {Theoretical Proportion Label Perturbation for Learning from Label Proportions in Large Bags},
author = {Shunsuke Kubo and Shinnosuke Matsuo and Daiki Suehiro and Kazuhiro Terada and Hiroaki Ito and Akihiko Yoshizawa and Ryoma Bise},
journal= {arXiv preprint arXiv:2408.14130},
year = {2024}
}
备注
Accepted at ECAI2024