迷失于翻译：大语言模型在非英语内容分析中的困境

近年来，大语言模型（如 Open AI 的 GPT-4、Meta 的 LLaMa、Google 的 PaLM）已成为构建用于在线语言分析与生成的 AI 系统的主导方法。然而，日益中介我们在线互动的自动化系统——如聊天机器人、内容审核系统和搜索引擎——主要面向英语设计，且在英语中的效果远好于世界其他约 7000 种语言。最近，研究人员和技术公司试图通过构建所谓的多语言语言模型，将大语言模型的能力扩展到英语以外的语言。在本文中，我们解释这些多语言语言模型如何工作，并探讨其能力与局限。第一部分简要从技术层面说明大语言模型如何工作、为何英语与其他语言间存在可用数据鸿沟，以及多语言语言模型如何试图弥合该鸿沟。第二部分阐述使用大语言模型（尤其是多语言语言模型）进行内容分析所面临的挑战。第三部分为公司、研究人员和政策制定者提供在考虑研究、开发和部署大语言模型与多语言语言模型时须牢记的建议。