帧入，帧出：衡量LLM生成新闻摘要中的框架偏差

新闻标题和摘要通过选择性强调和遗漏来塑造事件的解释方式，这一现象通常称为框架。大型语言模型现在被常规用于生成此类内容，但现有的评估框架基本上忽略了这一维度。我们提出Frame In, Frame Out (FIFO)，这是第一个用于衡量LLM生成新闻摘要中框架存在性的大规模基准，基于广泛使用的数据集XSum。FIFO将15,499个评审标注示例与320个专家标注实例（$\kappa = 0.61$）相结合，以验证和校准模型标注。使用FIFO，我们分析了27种 summarization 模型的测量框架率。我们发现，LLM生成的摘要往往表现出高于人类编写的参考摘要的更高校准框架率，在主题和训练 regime之间存在显著差异，包括科学和公共卫生摘要中的 elevated 框架率。我们的结果确立了框架作为摘要质量的下探讨且具有重要性的维度。