语义适配器提升通用文本嵌入的否定感知能力

否定在诸多自然语言处理任务中发挥着重要作用，如自然语言推理和情感分析任务。众多研究发现，基于上下文的文本嵌入模型（如 BERT、ELMO、RoBERTa 或 XLNet）在准确理解否定时面临挑战。近期的通用文本嵌入模型在各类任务中表现优于基于上下文的文本嵌入模型。然而，由于流行评估基准的偏差，这些模型的否定感知能力尚不清晰。为弥合现有文献中的空白，本文开展深入分析，以探讨前沿通用文本嵌入模型的否定感知能力。我们的发现表明，这些模型在否定感知方面存在显著不足，常将否定文本对解释为语义相似。为高效应对不同任务在主题信息与否定信息等其他语义信息之间所需的不同权衡，本文提出一种无需修改文本嵌入模型参数的数据高效、计算高效的嵌入重加权方法。该方法在简单否定理解任务和复杂否定理解任务上均显著提升了文本嵌入模型的否定感知能力。此外，本方法还能显著提升基于大型语言模型的任务特定高维通用文本嵌入的否定感知能力。