基于概念引导思维链提示的大语言模型文本成对比较打分

现有的文本打分方法需要大规模语料库、难以处理短文本，或需要人工标注数据。我们开发了一种文本打分框架，利用生成式大语言模型(LLMs)来(1)将文本置于近乎全部网络和数字化媒体的信息背景下，以及(2)有效地将成对文本比较从推理问题转化为模式识别任务。我们的方法——概念引导思维链(CGCoT)——利用带有LLM的研究者设计的提示链为每篇文本生成特定概念的拆解，类似于提供给人工编码者的指导。随后我们使用LLM对拆解进行成对比较，并通过概率模型将答案聚合成分数。我们将该方法应用于更好地理解Twitter上反映对特定政党厌恶的言论，这一话题因其可能对民主倒退的贡献而受到越来越多的关注。我们取得了比Wordfish等广泛使用的无监督文本打分方法与人类判断更强的相关性。在有监督设定下，除用于开发CGCoT提示的一小批试点数据集外，我们的度量不需要额外人工标注数据，并产出了与在数千条人工标注推文上微调的RoBERTa-Large相当的预测。本项目展示了结合人类专业知识与LLM用于打分任务的潜力。