基于对比损失的短语建模用于习语与修辞语言检测
计算与语言
2026-03-25 v1
摘要
修辞语言类别包含许多不同类型，其中一些类型是非组合性的。这种类型的短语或多词表达式（MWE）包括习语，这些习语代表一种含义，其含义并不等于其各个单词的总和。对于语言模型来说，这 presents 一个独特的问题，由于分词和相邻的上下文嵌入。许多大型语言模型通过拥有大型短语词汇来克服了这一问题，尽管在没有一个或少量-shot 提示或指令微调的情况下，立即识别经常会失败。已实现最佳结果的方法是基于 BERT 或 LSTM 的微调方法。本文中的模型包含其中一种此类变体。我们提出了基于 BERT 和 RoBERTa 的模型，通过结合槽位损失和跨度对比损失（SCL）以及硬负采样重新加权来进行微调，以提高习语性检测能力，在现有数据集上实现了最新的序列准确率性能。比较的消融研究表明了 SCL 的有效性及其普遍性。还提出了几何平均 F1 分数和序列准确率（SA）以综合评估模型的跨度感知能力和整体性能。
引用
@article{arxiv.2603.22799,
title = {Span Modeling for Idiomaticity and Figurative Language Detection with Span Contrastive Loss},
author = {Blake Matheny and Phuong Minh Nguyen and Minh Le Nguyen},
journal= {arXiv preprint arXiv:2603.22799},
year = {2026}
}