基于额外监督信息的硬标签学习

在训练数据受限于观察成本或数据稀缺的情境下，丰富每个实例的标签信息对于构建高精度分类模型至关重要。在此情境下，往往可以获得不仅有硬标签，还具有额外监督信息，如硬标签的置信度。这一设定自然提出根本性问题：{\it 哪些类型的额外监督在本质上有益？}以及{\it 它们如何贡献于改进的泛化性能？}为回答这些问题，本文提出一种理论框架，将硬标签和额外监督均视为概率分布，通过它们的仿射组合构建软标签。我们的理论分析表明，额外监督的关键组成部分并非所分配硬标签的置信度得分，而是关于非硬标签类别分布的信息。此外，我们展示了额外监督及其混合系数在补充角色中对软标签的细化贡献。直观而言，在概率单纯形中，额外监督决定了代表硬标签的确定性分布应向真实标签分布调整的方向，而混合系数则控制该方向上的步长。通过泛化误差分析，我们理论性地刻画了额外监督及其混合系数如何影响误差界的收敛速率和渐近值。最后，通过实验演示，基于本理论设计额外监督可在简单方式下提高分类准确率。