迈向类人水平的 LLM 文本编码：以公共政策文件中的父亲角色为例
计算与语言
2024-08-29 v3 计算机与社会
摘要
GPT-3.5 和 GPT-4 等大型语言模型（LLM）的最新进展有望以更佳效果和更少编程实现自动化，为政治科学中的文本分析开辟新机遇。在本研究中，我们在三个涉及政治科学环境中典型复杂性的原始编码任务上评估 LLM：非英语语言、法律与政治行话，以及基于抽象构念的复杂标签。贯穿全文，我们提出一种实用工作流以优化模型与提示的选择。我们发现最佳提示策略是向 LLM 提供详细编码手册，即提供给人类编码者的那一种。在此设定下，LLM 可媲美甚至可能优于人类标注者，同时速度快得多、成本低得多，且更易扩展到大量文本。我们还提供 GPT 与流行开源 LLM 的比较，讨论模型选择中的权衡。我们的软件允许轻松将 LLM 用作标注者，并已公开：https://github.com/lorelupo/pappa。
引用
@article{arxiv.2311.11844,
title = {Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents},
author = {Lorenzo Lupo and Oscar Magnusson and Dirk Hovy and Elin Naurin and Lena Wängnerud},
journal= {arXiv preprint arXiv:2311.11844},
year = {2024}
}