代码补全上下文收集优化挑战
软件工程
2025-10-07 v1 人工智能
机器学习
摘要
人工智能驱动的软件工程工作流程和方法的快速发展凸显了系统评估其能否充分利用整个项目信息（尤其是大型代码库中信息）的必要性。在由 JetBrains 联合 Mistral AI 组织的 ASE 2025 会议期间举办的“代码补全上下文收集优化挑战”中，参赛者开发了高效的机制，以从源代码仓库中收集上下文，提高针对 Python 和 Kotlin 的填充中间代码补全质量。我们构建了一个由真实世界代码组成的大型数据集，这些代码来自拥有宽松许可的开源项目。评估依据是各参赛方案在多个最先进神经模型上最大化补全质量，使用 chrF 指标进行衡量。在公开阶段，19 支团队参赛 Python 赛道，8 支团队参赛 Kotlin 赛道。在私人阶段，6 支团队竞争，其中 5 支团队提交了工作论文。
引用
@article{arxiv.2510.04349,
title = {Challenge on Optimization of Context Collection for Code Completion},
author = {Dmitry Ustalov and Egor Bogomolov and Alexander Bezzubov and Yaroslav Golubev and Evgeniy Glukhov and Georgii Levtsov and Vladimir Kovalenko},
journal= {arXiv preprint arXiv:2510.04349},
year = {2025}
}
备注
7 pages, 3 figures, 5 tables. A report on the Context Collection Workshop co-located with ASE'25