Kotlin ML Pack: 技术报告
软件工程
2024-05-30 v1 人工智能
编程语言
摘要
本技术报告中，我们介绍了三个新型的Kotlin代码数据集：KStack、KStack-clean和KExercises。我们还描述了在该数据上微调CodeLlama和DeepSeek模型的结果。此外，我们呈现了一个由人类专家重写为Kotlin版本的人类Eval基准——包括解决方案和测试。我们的结果表明，小规模高质量数据集（KStack-clean和KExercises）能够显著提高模型在代码生成任务上的性能，在HumanEval基准上实现了最高可达16分的通过率提升。最后，我们讨论了在Kotlin语言建模领域的潜在未来工作，包括在学习过程中利用静态分析工具以及引入更复杂和更真实的基准。
引用
@article{arxiv.2405.19250,
title = {Kotlin ML Pack: Technical Report},
author = {Sergey Titov and Mikhail Evtikhiev and Anton Shapkin and Oleg Smirnov and Sergei Boytsov and Sergei Boytsov and Dariia Karaeva and Maksim Sheptyakov and Mikhail Arkhipov and Timofey Bryksin and Egor Bogomolov},
journal= {arXiv preprint arXiv:2405.19250},
year = {2024}
}