Compass-v3：面向东南亚电商的规模化领域特定大语言模型

大型语言模型（LLM）在通用领域应用中表现卓越，但在需要领域特定知识的专业任务中常常性能下降。电商场景尤为具有挑战性，其数据具有噪声大、异构性、多语言性和高度动态性等特征。我们提出Compass-v3，这是一个针对东南亚电商领域设计的垂直领域混合专家（Mixture-of-Experts, MoE）模型，总参数数为2450亿，单token激活参数为710亿。Compass-v3采用更少但更大的专家组成合，结合硬件高效优化措施，如节点内专家并行和定制memcpy算子，以最大化GPU利用率。该模型基于12万亿token的精选多语言语料和大规模合成电商指令，使用混合训练策略进行训练。为提升对齐性，我们提出了最优传输直接偏好优化（Optimal-Transport Direct Preference Optimization, OTPO），它捕获token级差异，提高电商场景中的指令遵循度。广泛的评估表明，Compass-v3在电商性能方面达到最前沿水平，超越DeepSeek-V3.1、GPT-4系列和Qwen3-235B。此外，Compass-v3在低资源东南亚语言（印尼语、泰语、菲律宾语、越南语、马来语和塔加洛语）以及葡萄牙语方面展现出强大的多语言能力，同时在通用基准测试中保持竞争性能。该模型已广泛应用于Shopee的工业级电商平台，已逐步取代OpenAI的业务，现在占据总体LLM使用量的70%以上，凸显了其在专业电商领域知识和广泛语言能力两方面的双重优势。