比较 Llama-2 与 GPT-3 大语言模型用于 HPC 核生成
软件工程
2023-09-14 v1 人工智能
分布式、并行与集群计算
编程语言
摘要
我们评估开源 Llama-2 模型在不同并行编程模型与语言（例如 C++：OpenMP、OpenMP Offload、OpenACC、CUDA、HIP；Fortran：OpenMP、OpenMP Offload、OpenACC；Python：numpy、Numba、pyCUDA、cuPy；以及 Julia：Threads、CUDA.jl、AMDGPU.jl）上生成知名高性能计算核（如 AXPY、GEMV、GEMM）的用途。我们基于先前基于 OpenAI Codex（GPT-3 的后代）通过 GitHub Copilot 以简单提示生成类似核的工作构建。我们的目标是使用相似度量比较 Llama-2 与我们原始 GPT-3 基线的准确度。Llama-2 有一个简化模型，表现出有竞争力甚至更优的准确度。我们还报告了这些基础大语言模型之间的差异，因为生成式 AI 持续重新定义人机交互。总体而言，Copilot 生成的代码更可靠但优化较少，而 Llama-2 生成的代码可靠性较低但正确时优化更好。
引用
@article{arxiv.2309.07103,
title = {Comparing Llama-2 and GPT-3 LLMs for HPC kernels generation},
author = {Pedro Valero-Lara and Alexis Huante and Mustafa Al Lail and William F. Godoy and Keita Teranishi and Prasanna Balaprakash and Jeffrey S. Vetter},
journal= {arXiv preprint arXiv:2309.07103},
year = {2023}
}
备注
Accepted at LCPC 2023, The 36th International Workshop on Languages and Compilers for Parallel Computing http://www.lcpcworkshop.org/LCPC23/ . 13 pages, 5 figures, 1 table