弱监督分类的下界恰当损失
机器学习
2021-06-14 v2 机器学习
摘要
本文讨论弱监督分类问题，其中实例被赋予由某种标签损坏过程产生的弱标签。目标是推导弱标签学习的损失函数满足恰当性与下界性的条件——这是类概率估计中所用损失的两个基本要求。为此，我们推导了监督学习中恰当损失的一个表示定理，其为 Savage 表示的对偶。我们利用该定理刻画恰当弱标签损失，并给出其下界性的条件。基于这些理论发现，我们推导了一种称为广义 logit 压缩的新型正则化方案，其使任意恰当弱标签损失从下方有界，且不丧失恰当性。此外，我们实验证明了所提方法相较于非恰当或无界损失的有效性。结果凸显了恰当性与下界性的重要性。
引用
@article{arxiv.2103.02893,
title = {Lower-Bounded Proper Losses for Weakly Supervised Classification},
author = {Shuhei M. Yoshida and Takashi Takenouchi and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2103.02893},
year = {2021}
}
备注
ICML2021 camera ready, code available at https://github.com/yoshum/lower-bounded-proper-losses