LLM作为标注器的有效性：直接表征的比较概述与实证分析
计算与语言
2025-07-01 v2 人工智能
机器学习
摘要
大型语言模型（LLMs）已成为各种自然语言任务和一系列应用领域中强大的辅助工具。近期研究聚焦于探索其在数据标注方面的能力。本文对十项关于LLMs在数据标注中潜力的研究进行了比较概述。尽管这些模型展示了有前景的成本和时间节省优势，但也存在相当大的局限性，例如代表性、偏差、对提示变化的敏感性以及英语语言偏好。借鉴这些研究的见解，我们的实证分析进一步检验了人类与GPT在四个主观数据集上的意见分布之间的一致性。与考察表征的研究不同，我们的方法直接获取GPT的意见分布。因此，我们的分析支持了在评估数据标注任务时考虑多元视角的少数研究，并强调了在该方向进一步研究的必要性。
关键词
引用
@article{arxiv.2405.01299,
title = {The Effectiveness of LLMs as Annotators: A Comparative Overview and Empirical Analysis of Direct Representation},
author = {Maja Pavlovic and Massimo Poesio},
journal= {arXiv preprint arXiv:2405.01299},
year = {2025}
}
备注
LREC-COLING NLPerspectives workshop