面向多意图自然语言理解的两阶段预测感知对比学习框架

多意图自然语言理解（NLU）由于单个话语中多个意图导致的模型混淆而面临严峻挑战。尽管先前的工作通过对比训练来增加不同多意图标签之间的间隔，但它们不太适应多意图NLU的细微差别。它们忽略了共享意图之间的丰富信息，而这有助于构建更好的嵌入空间，尤其是在低数据场景下。我们引入了一个两阶段预测感知对比学习（PACL）框架，用于多意图NLU，以利用这一宝贵知识。我们的方法通过整合词级预训练和预测感知对比微调来利用共享意图信息。我们使用词级数据增强策略构建预训练数据集。随后，我们的框架在对比微调期间动态地为实例分配角色，同时引入预测感知对比损失以最大化对比学习的影响。我们展示了在三个广泛使用的数据集上进行的实验结果和实证分析，表明我们的方法在低数据场景和全数据场景下均超越了三个显著基线的性能。