面向少样本意图检测的预训练语言模型微调：监督预训练与各向同性化
计算与语言
2024-09-17 v3
摘要
仅用少量标注为任务型对话系统训练一个好的意图分类器具有挑战性。近期研究表明，以监督方式用公开基准中的少量标注语句微调预训练语言模型极为有效。然而，我们发现监督预训练会产生各向异性的特征空间，这可能抑制语义表示的表达能力。受近期各向同性化研究的启发，我们提出通过对特征空间施加各向同性正则来改进监督预训练。我们基于对比学习和相关矩阵分别提出两种正则化器，并通过大量实验证明了其有效性。我们的主要发现是，用各向同性化对监督预训练进行正则化以进一步提升少样本意图检测性能是有前景的。源代码可在https://github.com/fanolabs/isoIntentBert-main找到。
引用
@article{arxiv.2205.07208,
title = {Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization},
author = {Haode Zhang and Haowen Liang and Yuwei Zhang and Liming Zhan and Xiaolei Lu and Albert Y. S. Lam and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2205.07208},
year = {2024}
}
备注
NAACL 2022, oral