探讨语言对多语言大语言模型僵会行为的影响

大语言模型 (LLM) 在广泛的任务中取得了强大的性能，但也容易产生僵会现象，即无论有效性如何，都倾向于与用户声明保持一致。先前的研究已概述了较老模型（如 ChatGPT-3.5 和 Davinci）中僵会程度及其根本原因。较新的模型已经历了多次缓解措施，但仍需系统性地测试其行为。特别是语言对僵会行为的影响尚未被探索。本文我们研究了语言如何影响僵会响应。我们对三个最新模型（GPT-4o mini、Gemini 1.5 Flash 和 Claude 3.5 Haiku）进行评估，使用一组类似推文的 opinion prompts 翻译成五种额外语言：阿拉伯语、中文、法语、西班牙语和葡萄牙语。我们的结果显示，尽管较新的模型总体上显著低于较早一代，但僵会程度仍受语言影响。我们进一步提供了语言如何在敏感话题上塑造模型可协调性的细粒度分析，揭示了系统性的文化和语言模式。这些发现突显了缓解措施的进展以及需要更广泛的多语言审计以确保 LLM 可靠且认识到偏见的部署的必要性。