Mellum：面向 JetBrains IDE 的生产级 IDE 内情境代码完成
软件工程
2025-10-08 v1 人工智能
机器学习
摘要
我们介绍了 Mellum 模型家族，这是一组为 JetBrains IDE 中的交互式代码完成设计的开源权重模型。Mellum 模型拥有 40 亿参数，采用 Llama 架构，预训练于约 4 万亿标记的多语言 permissively 许可代码。我们的研究表明（i）严谨的数据筛选和分阶段训练显著提高了模型质量，（ii）编辑器关键能力如上下文打包对于高质量建议至关重要，（iii）紧凑、以任务为焦点的模型能够满足交互式完成的成本和延迟限制。在论文中，我们描述了一个面向生产环境的情境化 IDE 内完成的端到端工业流程：严格的数据治理、包括填充-中间和项目上下文的多阶段训练（通过监督微调实现），以及通过直接偏好优化实现的对齐（使用来自真实场景的反馈）。我们的质量评估包括大规模离线基准测试和来自 JetBrains IDE 生产部署的在线遥测数据。Mellum 在 Apache-2.0 许可证下发布于 HuggingFace，并附有可供实践者参考的公共模型卡。我们的经验为将一个聚焦的开源模型从研究原型推向规模化生产（面向数十万用户）提供了务实的蓝图。
引用
@article{arxiv.2510.05788,
title = {Mellum: Production-Grade in-IDE Contextual Code Completion with Multi-File Project Understanding},
author = {Nikita Pavlichenko and Iurii Nazarov and Ivan Dolgov and Ekaterina Garanina and Dmitry Ustalov and Ivan Bondyrev and Kseniia Lysaniuk and Evgeniia Vu and Kirill Chekmenev and Joseph Shtok and Yaroslav Golubev and Anton Semenkin and Uladzislau Sazanovich},
journal= {arXiv preprint arXiv:2510.05788},
year = {2025}
}
备注
11 pages, 4 figures, 3 tables