中文

Metal-Sci:面向 Apple Silicon 上演化式 LLM 内核搜索的科学计算基准测试

机器学习 2026-05-12 v1 人工智能 分布式、并行与集群计算

摘要

我们提出了 Metal-Sci,一个包含 10 个任务的 Apple Silicon Metal 科学计算内核基准测试,涵盖六种优化类型(模板计算、nn 体问题中的全对计算、多场 Boltzmann、邻居列表分子动力学、多核 PDE、FFT)。每个任务附带一个 CPU 参考实现、一个基于 roofline 的适应度函数,以及一个留出泛化尺寸。我们将该基准测试与一个用于自动内核搜索的轻量级框架配对,该框架在运行时编译每个候选内核,在多种尺寸下根据 roofline 对其评分,并将结构化的编译和各尺寸正确性诊断信息反馈给驱动 (1+1)(1{+}1) 演化循环的冻结 LLM。我们报告了在 M1 Pro 上对 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT 5.5 的匹配单模型扫描结果:分布内自加速跨度从 1.00×1.00\times10.7×10.7\times。除了原始加速之外,我们的核心方法论主张是结构性的:留出门评分函数 ΦT\Phi_\mathcal{T}(在运行结束时在智能体搜索期间从未见过的配置上评估一次)在此自动搜索循环中充当廉价的机械监督原语,例如捕获了一个 Opus 模板 <uint D> HMC 胜出但在未见维度上返回错误样本的情况,以及一个 GPT FFT3D 最佳结果在分布内以 2.95×2.95\times 加速胜出但在 2563256^3 留出立方体上崩溃至 0.23×0.23\times 的情况,这是一种仅凭分布内分数无法察觉的静默回归。代码位于 https://github.com/vicgalle/metal-sci-kernels

关键词

引用

@article{arxiv.2605.09708,
  title  = {Metal-Sci: A Scientific Compute Benchmark for Evolutionary LLM Kernel Search on Apple Silicon},
  author = {Víctor Gallego},
  journal= {arXiv preprint arXiv:2605.09708},
  year   = {2026}
}

备注

Preprint