利用文本到图像扩散模型生成的特权信息进行学习

利用特权信息学习(Learning Using Privileged Information)是一种特殊的知识蒸馏，其中教师模型在训练时受益于称为特权信息的额外数据表示，从而改进看不到该额外表示的学生模型。然而，特权信息在实践中很少可用。为此，我们提出一个文本分类框架，利用文本到图像扩散模型生成人工特权信息。所生成的图像与原始文本样本进一步用于基于最先进的基于transformer的架构训练多模态教师模型。最后，将多模态教师的知识蒸馏到基于文本（单模态）的学生中。因此，通过采用生成模型产生合成数据作为特权信息，我们引导学生模型的训练。我们的框架称为利用生成的特权信息学习(Learning Using Generated Privileged Information, LUGPI)，在四个文本分类数据集上取得显著性能提升，展示了其在文本分类中无需推理阶段任何额外成本的潜力。