评估SAP Joule的代码生成能力
软件工程
2025-09-30 v1 人工智能
摘要
SAP发布了其专有的生成式模型SAP Joule，旨在用于各种生成式任务，包括作为软件工程师的代码助手。虽然Joule尚未专注于SAP特定的ABAP代码生成，但它可用于其他常见语言，包括JavaScript。本文使用HumanEval-X JavaScript基准测试，将SAP Joule的JavaScript编码能力与其他29个模型进行了比较。SAP Joule在我们的评估中以80.49%的严格准确率排名第五。据我们所知，这是对SAP Joule代码生成能力的首次比较评估。
引用
@article{arxiv.2509.24828,
title = {Evaluating SAP Joule for Code Generation},
author = {Joshua Heisler and Johannes Reisinger and Andreas Fischer},
journal= {arXiv preprint arXiv:2509.24828},
year = {2025}
}