探索大语言模型用于热恩语相关性判断
信息检索
2024-06-12 v1
摘要
Cranfield 方法论一直作为 developing test collections 的基础方法，相关性判断通常由人类评估者完成。然而，大语言模型（LLMs）的出现引入了自动化这些任务的新可能性。本文探讨了在低资源语言背景下，使用 LLMs 自动化相关性评估的可行性。我们的研究中，运用 LLMs 自动化相关性判断任务，输入为以热恩语（Tetun）提供的查询-文档对序列。模型被任务赋予为每个对分配相关性分数，这些分数随后与人类标注者的分数进行比较，以评估批注间一致性水平。我们的调查结果与高资源语言研究的结果一致。
引用
@article{arxiv.2406.07299,
title = {Exploring Large Language Models for Relevance Judgments in Tetun},
author = {Gabriel de Jesus and Sérgio Nunes},
journal= {arXiv preprint arXiv:2406.07299},
year = {2024}
}