介绍HALC：为计算社会科学中的自动编码寻找最优提示策略的通用管道

大型语言模型（LLM）正在广泛用于任务自动化，包括社会科学中的自动编码。然而，尽管研究者提出了不同的提示策略，但其有效性在不同LLM和任务之间存在差异。常常仍广泛采用试错实践。我们提出HALC——一个允许为任何给定编码任务和模型系统性、可靠地构建最优提示的通用管道，允许整合任何被认为相关的提示策略。为探讨LLM编码并验证我们的管道，我们向本地LLM发送了总计1,512个独立提示，涉及超过200万次请求。我们基于少数专家编码（ground truth）测试提示策略和LLM任务性能。与这些专家编码进行比较后，我们发现使用LLM Mistral NeMo时，能够可靠地对单一变量进行编码（αclimate = .76; αmovement = .78）以及对两个变量进行编码（αclimate = .71; αmovement = .74）。我们的提示策略设计方式使LLM与我们的编码表（codebook）对齐——我们并未为LLM友好性优化编码表。我们的论文提供了关于不同提示策略有效性、关键影响因素以及为每个编码任务和模型识别可靠提示的见解。