迈向基于 LLM 的优化编译器：LLM 能学会应用单次窥孔优化吗？推理是 LLM 所需的一切！
机器学习
2024-12-18 v1 人工智能
编程语言
摘要
大语言模型 在各种语言处理任务中展现出了巨大潜力，近期的研究探索了它们在编译器优化中的应用。然而，所有这些研究都集中在传统的开源 LLM 上，例如 Llama2，这些模型缺乏增强的推理机制。在本研究中，我们研究了微调后的 70 亿参数 Llama2 模型在尝试学习和应用 AArch64 汇编代码的简单窥孔优化时产生的错误。我们分析了该 LLM 产生的错误，并将其与实现了先进推理逻辑的 SOTA OpenAI 模型进行了比较，包括 GPT-4o 和 GPT-o1 (预览版)。我们证明，尽管没有经过微调，OpenAI GPT-o1 的表现优于微调后的 Llama2 和 GPT-4o。我们的发现表明，这种优势很大程度上归功于 GPT-o1 中实现的思维链 推理。我们希望我们的工作能激发进一步利用具有增强推理机制和思维链的 LLM 进行代码生成和优化的研究。
引用
@article{arxiv.2412.12163,
title = {Towards LLM-based optimization compilers. Can LLMs learn how to apply a single peephole optimization? Reasoning is all LLMs need!},
author = {Xiangxin Fang and Lev Mukhanov},
journal= {arXiv preprint arXiv:2412.12163},
year = {2024}
}
备注
13 pages, 8 figures