由内而外：多语言大语言模型中的注释偏差
计算与语言
2025-11-19 v1
摘要
注释偏差在NLP数据集中仍然是挑战多语种大语言模型（LLM）开发的主要问题，尤其是在文化多样化的环境中。来自任务框架、注释者主观性以及文化不匹配的偏差可能扭曲模型输出并加剧社会危害。我们提出了一套全面的注释偏差理解框架，区分指令偏差、注释者偏差以及情境和文化偏差。我们回顾了检测方法（包括注释者间一致性、模型不一致性和元数据分析），并强调新兴技术，如多语种模型发散和文化推断。我们进一步概述了主动和被动的缓解策略，包括多样化注释者招募、迭代指南细化以及事后模型调整。我们的贡献包括：（1）注释偏差的类型分类；（2）检测指标的综合；（3）适用于多语种环境的基于集体的偏差缓解方法；（4）注释过程的伦理分析。这些见解旨在为LLM提供更具公平性和文化根基的注释管道。
引用
@article{arxiv.2511.14662,
title = {Bias in, Bias out: Annotation Bias in Multilingual Large Language Models},
author = {Xia Cui and Ziyi Huang and Naeemeh Adel},
journal= {arXiv preprint arXiv:2511.14662},
year = {2025}
}