Metal-Sci:面向 Apple Silicon 上演化式 LLM 内核搜索的科学计算基准测试
机器学习
2026-05-12 v1 人工智能
分布式、并行与集群计算
摘要
我们提出了 Metal-Sci,一个包含 10 个任务的 Apple Silicon Metal 科学计算内核基准测试,涵盖六种优化类型(模板计算、 体问题中的全对计算、多场 Boltzmann、邻居列表分子动力学、多核 PDE、FFT)。每个任务附带一个 CPU 参考实现、一个基于 roofline 的适应度函数,以及一个留出泛化尺寸。我们将该基准测试与一个用于自动内核搜索的轻量级框架配对,该框架在运行时编译每个候选内核,在多种尺寸下根据 roofline 对其评分,并将结构化的编译和各尺寸正确性诊断信息反馈给驱动 演化循环的冻结 LLM。我们报告了在 M1 Pro 上对 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT 5.5 的匹配单模型扫描结果:分布内自加速跨度从 到 。除了原始加速之外,我们的核心方法论主张是结构性的:留出门评分函数 (在运行结束时在智能体搜索期间从未见过的配置上评估一次)在此自动搜索循环中充当廉价的机械监督原语,例如捕获了一个 Opus 模板 <uint D> HMC 胜出但在未见维度上返回错误样本的情况,以及一个 GPT FFT3D 最佳结果在分布内以 加速胜出但在 留出立方体上崩溃至 的情况,这是一种仅凭分布内分数无法察觉的静默回归。代码位于 https://github.com/vicgalle/metal-sci-kernels
引用
@article{arxiv.2605.09708,
title = {Metal-Sci: A Scientific Compute Benchmark for Evolutionary LLM Kernel Search on Apple Silicon},
author = {Víctor Gallego},
journal= {arXiv preprint arXiv:2605.09708},
year = {2026}
}
备注
Preprint