规模化公共卫生文本标注：零样本学习与众包在提升效率和标注准确性方面的比较
计算与语言
2025-02-11 v1
摘要
公共卫生研究人员越来越有兴趣使用社交媒体数据来研究与健康相关的行为，但手动标注这些数据可能劳动密集且成本高昂。本研究探讨了使用大语言模型（LLM）的零样本标注能否在睡眠障碍、体力活动和久坐行为相关的 Twitter 帖子标注上，匹敌或超越传统的众包标注。设计了多个标注流水线，以比较领域专家、众包工作者和 LLM 驱动方法在不同提示工程策略下产生的标签。我们的研究结果表明，LLM 在简单的分类任务中可以与人类表现相媲美，并显著减少标注时间，但对于需要更细致领域知识的任务，其准确性会下降。这些结果阐明了自动化可扩展性与人类专业知识之间的权衡，展示了在何种条件下基于 LLM 的标注可以有效地整合到公共卫生研究中，而不损害标签质量。
引用
@article{arxiv.2502.06150,
title = {Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy},
author = {Kamyar Kazari and Yong Chen and Zahra Shakeri},
journal= {arXiv preprint arXiv:2502.06150},
year = {2025}
}
备注
4 pages, 1 figure