通过询问与平均利用大语言模型定位政治文本
计算与语言
2024-09-06 v3
摘要
我们利用指令微调大语言模型（LLMs），如 GPT-4、Llama 3、MiXtral 或 Aya，将政治文本定位到政策与意识形态空间中。我们询问 LLM 一条推文或政治文本中的一句话在焦点维度上的位置，并取 LLM 回答的平均值来定位政治行动者（如美国参议员）或更长的文本（如英国政党宣言或以 10 种不同语言发表的欧盟政策演讲）。使用最佳 LLM 获得的定位估计与基于专家、众包工作者或点名投票的文本编码基准之间的相关性超过 0.90。该方法通常比基于大量研究数据训练的有监督分类器获得的定位更准确。使用指令微调 LLM 将文本定位到政策与意识形态空间中快速、成本高效、可靠且可复现（在开放 LLM 的情况下），即使文本简短且以不同语言写成。我们以关于需要经验验证的警示作结。
引用
@article{arxiv.2311.16639,
title = {Positioning Political Texts with Large Language Models by Asking and Averaging},
author = {Gaël Le Mens and Aina Gallego},
journal= {arXiv preprint arXiv:2311.16639},
year = {2024}
}