AutoParLLM：基于 GNN 引导的上下文生成用于大语言模型零样本代码并行化
机器学习
2025-02-20 v3
摘要
上下文学习（ICL）已被证明是一种强大的技术，可增强大语言模型（LLM）在多种任务上的能力。本文提出 \ourtool，一种利用图神经网络（GNN）引导生成上下文以生成高效并行代码的新方法。我们在两个知名并行代码基准套件——NAS 并行基准和 Rodinia 基准——的 个应用上评估了 \ourtool \xspace{}。结果表明，在并行代码生成任务上，\ourtool \xspace{} 在 CodeBERTScore 指标上相较最先进的 LLM（如 GPT-4）在 NAS 上提升 19.9%，在 Rodinia 基准上提升 6.48%。此外，\ourtool \xspace{} 通过实现约 17%（NAS 基准）和约 16%（Rodinia 基准）更好的加速比，提升了迄今最强大 LLM GPT-4 的能力。另外，我们提出 \ourscore \xspace{} 用于评估并行代码质量，并展示了其在并行代码评估中的有效性。\ourtool \xspace 可在 https://github.com/quazirafi/AutoParLLM.git 获取。
引用
@article{arxiv.2310.04047,
title = {AutoParLLM: GNN-guided Context Generation for Zero-Shot Code Parallelization using LLMs},
author = {Quazi Ishtiaque Mahmud and Ali TehraniJamsaz and Hung Phan and Le Chen and Mihai Capotă and Theodore Willke and Nesreen K. Ahmed and Ali Jannesari},
journal= {arXiv preprint arXiv:2310.04047},
year = {2025}
}