SemEval-2025 Task 5：基于大语言模型的主体标签自动化——面向国家技术图书馆开放目录
计算与语言
2025-05-26 v3 人工智能
数字图书馆
机器学习
摘要
我们介绍 SemEval-2025 Task 5：LLMs4Subjects，这是一个针对英语和德语科学技术记录的自动主体标签共享任务，采用 GND 分类体系。参赛者开发了基于大语言模型的系统，用于推荐前 k 个主体标签，通过定量指标（精确率、召回率、F1 分数）和主体专家的定性评估进行评估。结果表明，大语言模型集成、合成数据生成和多语言处理的有效性，为应用于数字图书馆分类的大语言模型应用提供了洞见。
引用
@article{arxiv.2504.07199,
title = {SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog},
author = {Jennifer D'Souza and Sameer Sadruddin and Holger Israel and Mathias Begoin and Diana Slawig},
journal= {arXiv preprint arXiv:2504.07199},
year = {2025}
}
备注
10 pages, 4 figures, Accepted as SemEval 2025 Task 5 description paper