大型语言模型是语言学的未来众包工作者吗？
计算与语言
2025-02-17 v1 人工智能
摘要
从人类参与者中获取数据的做法是经验性语言学研究中采集数据的核心策略之一。此类研究中参与者的数量可能差异很大，从几个人到众包规模。即便提供丰富的数据，这些设置也伴随着诸多缺点，例如在任务完成期间难以控制参与者的注意力、众包环境中的不稳定工作条件，以及耗时的实验设计。出于这些原因，本研究旨在回答：大型语言模型 (LLM) 是否可能克服这些障碍，被纳入经验性语言学流程中。通过进行两个复现案例研究来获得明确答案：Cruz (2023) 和 Lombard 等 (2021)。本研究复制了原为人类参与者设计的两个强制性任务，借助 OpenAI 的 GPT-4o-mini 模型实现。其在零样本基线测试中的表现显示，LLM 在语言任务中的有效性和高可塑性，往往超过人类 informants。第二次复现进一步突显了需要探索额外的提示技术的重要性，例如链式思维 (CoT) 提示，该技术在随后的第二次实验中在关键项目和填充项目上均表现出更高的对齐度。鉴于本研究规模有限，有必要进一步探索 LLM 在经验性语言学以及其他人文科学未来应用中的表现。
引用
@article{arxiv.2502.10266,
title = {Are Large Language Models the future crowd workers of Linguistics?},
author = {Iris Ferrazzo},
journal= {arXiv preprint arXiv:2502.10266},
year = {2025}
}