跨语言稳定性与人类语言模型指令微调中的偏差：面向人道主义 NLP 的实证比较
计算与语言
2025-10-28 v1 人工智能
摘要
人道主义组织面临一个关键选择：投资于高成本的商业 API，还是依赖免费的开源权重模型进行多语言人权监控。虽然商业系统提供可靠性，但开源权重替代方案缺乏实证验证——尤其是冲突地区常见的低资源语言。本文首次系统比较商业与开源大语言模型（LLM）在跨七种语言的人权侵犯检测中的表现，量化了资源受限组织面临的成本与可靠性之间的权衡。在 78,000 条多语言推理中，我们评估了六个模型——四个指令对齐模型（Claude-Sonnet-4、DeepSeek-V3、Gemini-Flash-2.0、GPT-4.1-mini）和两个开源权重模型（LLaMA-3-8B、Mistral-7B），使用标准分类指标以及新的跨语言可靠性措施：校准偏差（Calibration Deviation, CD）、决策偏差（Decision Bias, B）、语言鲁棒性得分（Language Robustness Score, LRS）和语言稳定性得分（Language Stability Score, LSS）。结果表明，指令对齐而非规模决定了稳定性：对齐模型在类型学上遥远且低资源语言（如 Lingala、Burmese）上保持近乎恒定的准确率和平衡校准，而开源权重模型表现出显著的提示-语言敏感性和校准漂移。这些发现表明，多语言指令对齐 enables 语言无关的推理，并为人道主义组织在预算约束与可靠性之间进行多语言部署提供实用指导。
引用
@article{arxiv.2510.22823,
title = {Cross-Lingual Stability and Bias in Instruction-Tuned Language Models for Humanitarian NLP},
author = {Poli Nemkova and Amrit Adhikari and Matthew Pearson and Vamsi Krishna Sadu and Mark V. Albert},
journal= {arXiv preprint arXiv:2510.22823},
year = {2025}
}