ConCuR：简洁性实现核生成的最先进方法
机器学习
2025-10-10 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
GPU核函数生成最近在LLM的推理扩展和强化学习技术推动下迎来了快速发展。然而，核函数生成的关键挑战在于高质量数据的稀缺，因为大多数高质量核函数为专有且非开源。这一挑战阻碍了我们利用监督式微调将LLM对核生成任务进行对齐。为此，我们开发了一条生成和筛选高质量CUDA核函数的管道，灵感来自关键观察：简洁且信息丰富的推理痕迹可导致高性能核函数的稳健生成。通过该管道，我们构建了ConCuR数据集，并引入了我们的模型KernelCoder——据称这是首个在由PyTorch、推理痕迹和CUDA核函数组合的精选数据集上训练的模型。在KernelBench基准中，我们的模型相较于现有最佳模型QwQ-32B实现了显著提升，超越了所有针对核生成进行微调的开源模型，以及DeepSeek-V3.1-Think和Claude-4-sonnet等前沿模型。最后，我们表明平均推理长度可作为评估核生成任务难度的指标。这些观察、指标以及我们的数据收集与筛选管道可助力未来更好地获取核生成任务中的高质量数据。
引用
@article{arxiv.2510.07356,
title = {ConCuR: Conciseness Makes State-of-the-Art Kernel Generation},
author = {Lingcheng Kong and Jiateng Wei and Hanzhang Shen and Huan Wang},
journal= {arXiv preprint arXiv:2510.07356},
year = {2025}
}