标签之上的损失:通过直接损失构造的弱监督学习
机器学习
2023-10-06 v2
摘要
由于生成大量标注数据的成本 prohibitive,程序化弱监督正成为机器学习中日益增长的范式。在此设定下,用户设计启发式规则为数据子集提供噪声标签。这些弱标签被组合(通常通过图模型)以形成伪标签,随后用于训练下游模型。本工作中,我们质疑典型弱监督学习流程的一个基础性前提:既然启发式规则提供了全部“标签”信息,我们为何还需要生成伪标签?相反,我们提议直接将启发式规则本身转化为相应的损失函数,用以惩罚模型与启发式规则之间的差异。通过从启发式规则直接构造损失,我们能纳入比标准弱监督流程更多的信息,例如启发式规则如何做出决策,这在训练期间显式地指导特征选择。我们将该方法称为 Losses over Labels (LoL),因其直接从启发式规则创建损失而无需经过标签这一中间步骤。我们表明,在若干基准文本与图像分类任务上 LoL 优于现有弱监督方法,并进一步证明纳入梯度信息可在几乎所有任务上带来更优性能。
引用
@article{arxiv.2212.06921,
title = {Losses over Labels: Weakly Supervised Learning via Direct Loss Construction},
author = {Dylan Sam and J. Zico Kolter},
journal= {arXiv preprint arXiv:2212.06921},
year = {2023}
}
备注
13 pages, 3 figures, AAAI 2023