大语言模型作为标注工具的有效性：比较概述与直接表示的实证分析
广义相对论与量子宇宙学
2024-10-17 v2 宇宙学与河外天体物理
摘要
大语言模型(LLMs)已在各种自然语言任务和广泛应用领域中成为强大的支持工具。近期研究聚焦于探索其在数据标注任务中的能力。本文提供了十二项研究的比较概述，探讨了 LLMs 在数据标注中的潜在价值。尽管这些模型在成本和时间节省方面表现有望，但仍存在代表性、偏差、对提示变化敏感性以及偏好使用英语等显著局限。基于这些研究的见解，我们的实证分析进一步检查了人类与 GPT 生成意见分布在四个主观数据集之间的对齐情况。与关注表示的研究不同，我们的方法直接从 GPT 获取意见分布。我们的分析支持少数考虑多样化视角的研究在评估数据标注任务方面的作用，并突显了进一步研究的必要性。
引用
@article{arxiv.2405.01297,
title = {Boosting gravitational waves: a review of kinematic effects on amplitude, polarization, frequency and energy density},
author = {Giulia Cusin and Cyril Pitrou and Camille Bonvin and Aurélien Barrau and Killian Martineau},
journal= {arXiv preprint arXiv:2405.01297},
year = {2024}
}
备注
39 pages, 5 figures