你的模型能区分否定与会话含义吗？揭示意图编码器的挑战
计算与语言
2024-03-08 v1
摘要
对话系统通常依赖嵌入模型进行意图分类和意图聚类任务。大型语言模型（LLM）的出现使得指令嵌入成为可能，允许通过提示调整嵌入空间上的语义，因此被视为解决这些下游对话任务的万能药。然而，传统的评估基准仅依赖任务指标，并未专门衡量与语义理解相关的差距。为此，我们提出了一套意图语义工具包，通过考虑三项任务——(1) 意图分类，(2) 意图聚类，以及 (3) 一项新颖的三元组任务，为意图嵌入模型提供更全面的视角。三元组任务旨在评估模型对现实世界对话系统中至关重要的两个语义概念——否定和会话含义的理解能力。我们观察到，当前的嵌入模型在这些概念的语义理解方面表现不佳。为解决这一问题，我们提出了一种预训练方法，利用自回归模型生成的数据进行增强，并结合对比损失项来改进嵌入模型。我们的方法提高了意图嵌入模型在上述语言维度上的语义理解能力，同时对下游任务指标的性能影响甚微。
引用
@article{arxiv.2403.04314,
title = {Can Your Model Tell a Negation from an Implicature? Unravelling Challenges With Intent Encoders},
author = {Yuwei Zhang and Siffi Singh and Sailik Sengupta and Igor Shalyminov and Hang Su and Hwanjun Song and Saab Mansour},
journal= {arXiv preprint arXiv:2403.04314},
year = {2024}
}