解码新闻叙事：大语言模型在框架检测中的批判性分析
计算与语言
2026-05-22 v4
摘要
新闻报道日益复杂和多样化，使得框架分析成为计算社会科学中一项关键却充满挑战的任务。传统方法（包括人工标注和微调模型）仍受限于高昂的标注成本、领域特异性以及不一致的泛化能力。基于指令的大语言模型（LLMs）提供了一种有前景的替代方案，但其在框架分析中的可靠性尚未得到充分理解。本文对多种 LLMs（包括 GPT-3.5/4、FLAN-T5 和 Llama 3）在零样本、少样本及基于解释的提示设置下进行了系统评估。聚焦于领域偏移和固有的标注歧义，我们发现模型性能对提示设计高度敏感，且在模糊案例上容易出现系统性错误。尽管 LLMs（尤其是 GPT-4）表现出更强的跨领域泛化能力，但也显示出系统性偏差，最显著的是倾向于将情感语言与框架混淆。为了在现实世界的主题多样性下实现原则性评估，我们引入了一个涵盖多样主题的新领域外新闻标题数据集。最后，通过分析现有框架数据集中多个模型的一致性模式，我们证明了跨模型共识可为识别争议性标注提供有用信号，从而为低资源环境下的数据集审计提供了一种实用方法。
引用
@article{arxiv.2402.11621,
title = {Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection},
author = {Valeria Pastorino and Jasivan A. Sivakumar and Nafise Sadat Moosavi},
journal= {arXiv preprint arXiv:2402.11621},
year = {2026}
}