评估大型语言模型中的政治偏见
计算与语言
2024-06-06 v3 人工智能
摘要
在围绕人工智能（AI）及其对社会动态潜在影响的当代讨论中，大型语言模型（LLM）内部偏见的评估已成为一个关键问题。当接近表演性预测的临界点时，识别和考虑 LLM 应用中的政治偏见尤为重要。进而，需了解 LLM 因与人类操作者相互作用而在规模上可能驱动的潜在影响和社会行为。如此一来，即将到来的欧洲议会选举也将不可避免地受到 LLM 的影响。我们从德国选民的角度，评估了当前最流行的开源 LLM（指令模型或助手模型）在涉及欧盟（EU）政治议题上的政治偏见。为此，我们使用了德国的一款投票建议应用“Wahl-O-Mat”。根据“Wahl-O-Mat”的投票建议，我们量化了 LLM 与德国各政党立场的一致程度。我们表明，较大的模型（如 Llama3-70B）倾向于与左倾政党立场更一致，而较小的模型通常保持中立，特别是在使用英语提示时。核心发现是 LLM 表现出相似的偏见，在与特定政党立场一致度上的方差较低。我们的发现强调了严格评估并使 LLM 中的偏见透明化的重要性，以维护那些运用表演性预测能力及机器学习预测与语言生成“无形之手”的应用的完整性与可信度。
引用
@article{arxiv.2405.13041,
title = {Assessing Political Bias in Large Language Models},
author = {Luca Rettenberger and Markus Reischl and Mark Schutera},
journal= {arXiv preprint arXiv:2405.13041},
year = {2024}
}