基于归约的伪标签生成用于实例依赖偏标记学习

实例依赖偏标记学习旨在从带有与特征相关的候选标记的训练实例中学习一个多类预测模型，其中正确标记是隐藏固定但未知的。先前的工作涉及利用训练模型自身的识别能力来迭代地细化监督信息。然而，这些方法忽略了 ID-PLL 的一个关键方面：训练模型容易在错误的候选标记上过拟合，从而提供糟糕的监督信息并在训练中造成瓶颈。在本文中，我们提出利用基于归约的伪标签来减轻错误候选标记的影响，并训练我们的预测模型以克服这一瓶颈。具体而言，基于归约的伪标签是通过对多分支辅助模型的输出进行加权聚合生成的，每个分支在排除了某些标记的标记子空间中训练。这种方法确保每个分支明确避免了被排除标记的干扰，使得为受这些被排除标记困扰的实例提供的伪标签能够从不受影响的分支中受益。在理论上，我们证明了与直接从预测模型生成的伪标签相比，基于归约的伪标签表现出与 Bayes 最优分类器更大的一致性。