细节决定成败：关于少样本意图分类的模型与训练机制
计算与语言
2022-10-13 v1
摘要
少样本意图分类（FSIC）是模块化任务型对话系统的关键挑战之一。尽管先进的FSIC方法在使用预训练语言模型编码文本和基于最近邻的推理进行分类方面相似，但这些方法在细节上有所不同。它们从不同的预训练文本编码器出发，使用带有不同相似度函数的不同编码架构，并采用不同的训练机制。这些大多独立的设计决策耦合在一起且缺乏相应的消融研究，是识别驱动所报告FSIC性能因素的一大障碍。我们沿着三个关键维度研究这些细节：（1）编码架构：交叉编码器（Cross-Encoder）对比双编码器（Bi-Encoders）；（2）相似度函数：参数化（即可训练）函数对比非参数化函数；（3）训练机制：情景元学习（episodic meta-learning）对比直接（即非情景）训练。我们在七个FSIC基准上的实验结果揭示了三个重要发现。首先，交叉编码器架构（带参数化相似度评分函数）与情景元学习这一未被探索的组合始终产生最佳FSIC性能。其次，情景训练比非情景训练产生更鲁棒的FSIC分类器。第三，在元学习方法中，将情景划分为支持集和查询集并非必须。我们的发现为开展FSIC的最先进研究铺平了道路，更重要的是引起了社区对FSIC方法细节的关注。我们公开了我们的代码和数据。
引用
@article{arxiv.2210.06440,
title = {The Devil is in the Details: On Models and Training Regimes for Few-Shot Intent Classification},
author = {Mohsen Mesgar and Thy Thy Tran and Goran Glavas and Iryna Gurevych},
journal= {arXiv preprint arXiv:2210.06440},
year = {2022}
}