UoR-NCL 在 SemEval-2025 Task 1：使用生成式 LLM 与 CLIP 模型进行多语言多模态习语表示
计算与语言
2025-05-02 v3 人工智能
摘要
SemEval-2025 Task 1 侧重于根据图像与给定名词复合词的契合度对其进行排序，这些名词复合词在英语和巴西葡萄牙语中可能带有习语意义。为应对这一挑战，本工作使用生成式大语言模型 (LLM) 和多语言 CLIP 模型来增强习语复合词的表示。LLM 为潜在的习语复合词生成习语含义，从而丰富其语义解释。随后，使用多语言 CLIP 模型对这些含义进行编码，作为图像排序的表示。应用对比学习和数据增强技术对这些嵌入进行微调，以提升性能。实验结果表明，通过该方法提取的多模态表示优于仅基于原始名词复合词的表示。该微调方法展现了有前景的结果，但效果不如使用未经微调的嵌入。本文使用的源代码可在 https://github.com/tongwu17/SemEval-2025-Task1-UoR-NCL 获取。
引用
@article{arxiv.2502.20984,
title = {UoR-NCL at SemEval-2025 Task 1: Using Generative LLMs and CLIP Models for Multilingual Multimodal Idiomaticity Representation},
author = {Thanet Markchom and Tong Wu and Liting Huang and Huizhi Liang},
journal= {arXiv preprint arXiv:2502.20984},
year = {2025}
}