如同 AI：大语言模型如何应用（及误应用）维基百科中立性规范
计算与语言
2026-05-11 v5 人工智能
计算机与社会
人机交互
摘要
大语言模型 (LLM) 训练于广泛的语料库中，然后被用于具有特定规范的社区。仅提供 LLM 社区规则即可让模型遵循这些规范吗？我们评估了 LLM 检测（任务 1）和纠正（任务 2）偏倚的维基百科编辑的能力，这些编辑依据维基百科的中立观点 (NPOV) 政策。LLM 在偏倚检测方面表现不佳，在平衡数据集上仅达到 64% 的准确率。模型 exhibits 不同的偏倚倾向（一些低估，另一些高估），表明它们对中立性有不同的先验假设。LLM 在生成方面表现更好，删除了维基百科编辑器删除的 79% 的单词。然而，LLM 在纠正方面做出了额外的修改，超出维基百科编辑器更简单的中立化处理，导致高召回率但低精确率的编辑。有趣的是，众包工作者认为 AI 重写的内容在中立性（70%）和流畅性（61%）方面都优于维基百科编辑器的重写。定性分析发现，LLM 有时比维基百科编辑者更全面地应用了 NPOV，但常常会进行额外的非 NPOV 相关的修改（例如语法）。LLM 可能以与大众共鸣的方式应用规则，但与社区专家不同。尽管在生成方面可能有效，但 LLM 可能削弱编辑者的主动性并增加审核工作量（例如验证添加内容）。即便规则容易阐述，让 LLM 以社区成员的方式应用这些规则仍可能困难。
引用
@article{arxiv.2407.04183,
title = {Seeing Like an AI: How LLMs Apply (and Misapply) Wikipedia Neutrality Norms},
author = {Joshua Ashkinaze and Ruijia Guan and Laura Kurek and Eytan Adar and Ceren Budak and Eric Gilbert},
journal= {arXiv preprint arXiv:2407.04183},
year = {2026}
}
备注
Appeared at ICWSM 2026