面向少样本对话式虚拟助手系统的实用标记裁剪

在企业虚拟助手（VA）系统中，意图分类是决定用户输入如何处理的关键组件，取决于用户想要什么。VA 系统预计以低训练和推理时间为代价，以高准确率运行，即使在仅有少量训练样本的情况下。我们采用对比学习目标对基于 Transformer 的句子嵌入模型进行预训练，并利用该模型的嵌入作为训练意图分类模型的特征。我们的做法在少样本场景下实现了最先进的效果，并在流行的意图分类基准上超越了其他商业解决方案。然而，由于 Transformer 注意力机制的二次运行时间，生成基于 Transformer 的模型特征会增加推理时间，尤其是针对较长的用户输入。除模型蒸馏外，我们引入一种实用的多任务适应方法，可在无需针对意图分类进行任务特定训练的情况下配置动态标记裁剪。我们演示了该方法在不影响模型性能的情况下提高了流行句子转换模型的推理速度。