深度但朴素的偏标记学习的威力探究

偏标记学习（PLL）是一类弱监督学习，其中每个训练样本由一个数据和一组候选标签组成，且该组标签包含唯一的真实标签。为解决此问题，当前大多数最先进的方法采用标签消歧或平均策略。迄今为止，不具备此类技术的PLL方法被认为是不实用的。本文通过揭示最古老且最朴素的PLL方法在实例化为深度神经网络时所隐藏的威力，对这一观点提出挑战。具体而言，我们表明，借助深度神经网络，该朴素模型能够取得与其他最先进方法相竞争的性能，可作为PLL的一个强基线。我们还探讨了此类朴素模型为何及如何与深度神经网络配合良好的问题。我们的实证结果表明，在部分标记样本上训练的深度神经网络即使在过参数化 regime 且无需标签消歧或正则化的情况下，也能很好地泛化。我们指出，现有的PLL学习理论在过参数化 regime 下是空洞的，因而无法解释深度朴素方法为何有效。我们提出了一种关于深度学习如何在PLL问题中泛化的替代理论。