超越链接：评估 LLM 在全球媒体中分类政治内容的能力
计算与语言
2025-11-05 v2
摘要
大型语言模型 (LLM) 的使用正在政治科学和数字媒体研究中日益普及。尽管 LLM 在标注任务中已显示出能力，但其在从 URL 对政治内容 (PC) 进行分类方面的有效性仍未得到充分探索。本文评估了 LLM 是否能准确区分 PC 与非 PC，方法是同时利用新闻文章的文本和 URL，在法国、德国、西班牙、英国和美国五个国家及其不同语言中进行测试。我们使用最先进的模型，对其性能进行基准测试，评估 URL 级别分析是否能近似于全文分析。我们的发现表明，URL 嵌入了相关信息，可作为一种可扩展且成本效益高的逼近方法来辨别 PC。然而，我们也发现系统性偏差：LLM 似乎倾向于将中庸新闻误分类为政治内容，导致误报，可能扭曲后续分析。我们结论性地提出在政治科学研究中使用 LLM 的方法学建议。
引用
@article{arxiv.2506.17435,
title = {Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media},
author = {Alejandro De La Fuente-Cuesta and Alberto Martinez-Serra and Nienke Visscher and Laia Castro and Ana S. Cardenal},
journal= {arXiv preprint arXiv:2506.17435},
year = {2025}
}