用于文本分类的监督图对比预训练

文本分类的对比预训练技术已在无监督设定下得到广泛研究。然而，来自与当前任务共享标签语义的相关任务的标注数据通常是可用的。我们假设有效利用这些标注数据可带来当前任务上更好的泛化能力。在本文中，我们提出一种新方法，通过基于图的监督对比学习方法来有效利用来自相关任务的标注数据。我们通过将样本中的监督信息外推至词元(token)来构建词元图。我们的构建方式产生了一个嵌入空间，其中属于同一类概率高/低的词元彼此邻近/疏远。我们还发展了详细的理论见解，作为我们方法的动机。在$13$个数据集的实验中，我们表明我们的方法平均优于预训练方案$2.5\%$，也优于基于样本级对比学习的公式$1.8\%$。此外，我们展示了我们的方法在零样本设定下的跨域有效性，平均提升$3.91\%$。最后，我们还证明我们的方法可作为知识蒸馏设定中的噪声教师，在低标注数据条件下显著提升基于Transformer的模型性能，平均达$4.57\%$。