GPF-LiveNews：用于大语言模型中基于群体条件化表述的流式评估协议
计算与语言
2026-05-29 v1 人工智能
摘要
部署的语言模型在非平稳环境中进行评估：模型版本、检索层、安全系统以及真实世界的输入会随时间变化。静态偏见基准仍然有用，但它们无法显示模型如何为不同提示受众对新兴事件进行表述。我们引入 GPF-LIVENEWS，一个用于审计开放式大语言模型输出中基于群体条件化表述的流式评估协议和基准快照。该协议在42个身份标签和七个提示家族上扩展新的BBC/路透新闻主播，然后使用语义灵敏度和情感差异信号评估响应捆绑。在一次 pilot 项目中，进行了12次监控运行和23个托管模型，政策/行动提示产生最强的语义变化，而情感变化在各个维度和提示家族之间较平坦。所发布的制品包括文章元数据、提示模板、实例化提示、模型输出元数据、评分表、文档和复现脚本。我们将所有分数解释为观测窗口审计信号，用于人工审核，而非永久公平性排名或直接证明有害偏见。
引用
@article{arxiv.2605.28848,
title = {GPF-LiveNews: A Streaming Evaluation Protocol for Group-Conditioned Framing in Large Language Models},
author = {Mohd Ariful Haque and Fahad Rahman and Kishor Datta Gupta and Roy George},
journal= {arXiv preprint arXiv:2605.28848},
year = {2026}
}