将 LLM 作为人类计算算法中的工人？用大语言模型复现众包流程
计算与语言
2025-01-10 v3 人机交互
摘要
LLM 在复现以往被认为专属于人类能力的众包任务中的类人行为方面已展现出潜力。然而，当前工作主要聚焦于简单的原子任务。我们探究 LLM 能否复现更复杂的众包流程。我们发现，现代 LLM 能够在这类“人类计算算法”中模拟众包工人的部分能力，但成功程度不一，并受请求者对 LLM 能力的理解、子任务所需具体技能以及执行这些子任务的最优交互模态的影响。我们反思了人类与 LLM 对指令的不同敏感度，强调了为 LLM 启用面向人类的安全机制的重要性，并讨论了训练具备互补技能集合的人类和 LLM 的潜力。关键在于，我们表明复现众包流程提供了一个有价值的平台，用以研究 1) LLM 在不同任务上的相对优势（通过交叉比较其在子任务上的表现）以及 2) LLM 在复杂任务中的潜力，其中它们可完成部分任务而将其他任务留给人类。
引用
@article{arxiv.2307.10168,
title = {LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs},
author = {Tongshuang Wu and Haiyi Zhu and Maya Albayrak and Alexis Axon and Amanda Bertsch and Wenxing Deng and Ziqi Ding and Bill Guo and Sireesh Gururaja and Tzu-Sheng Kuo and Jenny T. Liang and Ryan Liu and Ihita Mandal and Jeremiah Milbauer and Xiaolin Ni and Namrata Padmanabhan and Subhashini Ramkumar and Alexis Sudjianto and Jordan Taylor and Ying-Jui Tseng and Patricia Vaidos and Zhijin Wu and Wei Wu and Chenyang Yang},
journal= {arXiv preprint arXiv:2307.10168},
year = {2025}
}