迈向大语言模型时代的自动化内核生成
机器学习
2026-01-27 v2 计算与语言
摘要
现代AI系统的性能从根本上受限于其底层内核的质量，这些内核将高层算法语义转化为底层硬件操作。实现近乎最优的内核需要对硬件架构和编程模型有专家级的理解，这使得内核工程成为一个关键但极其耗时且难以扩展的过程。大语言模型及基于LLM的智能体的最新进展为自动化内核生成和优化开辟了新的可能性。LLM非常适合压缩那些难以形式化的专家级内核知识，而智能体系统则通过将内核开发视为一个迭代的、反馈驱动的循环，进一步实现了可扩展的优化。该领域已取得快速进展。然而，该领域仍然碎片化，缺乏对LLM驱动内核生成的系统性视角。本综述通过提供对现有方法的结构化概述来填补这一空白，涵盖了基于LLM的方法和智能体优化工作流，并系统性地整理了支撑该领域学习和评估的数据集与基准。此外，还概述了关键开放挑战和未来研究方向，旨在为下一代自动化内核优化建立一个全面的参考。为跟踪该领域进展，我们在https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation维护了一个开源GitHub仓库。
引用
@article{arxiv.2601.15727,
title = {Towards Automated Kernel Generation in the Era of LLMs},
author = {Yang Yu and Peiyu Zang and Chi Hsu Tsai and Haiming Wu and Yixin Shen and Jialing Zhang and Haoyu Wang and Zhiyou Xiao and Jingze Shi and Yuyu Luo and Wentao Zhang and Chunlei Men and Guang Liu and Yonghua Lin},
journal= {arXiv preprint arXiv:2601.15727},
year = {2026}
}
备注
10 pages, 1 figure