让野蛮人进入：AI 如何加速系统性能研究
软件工程
2025-12-23 v4 人工智能
摘要
人工智能（AI）正在开始通过自动化发现新解决方案来改变研究过程。这一转变依赖于可靠的验证器的可用性，而 AI 驱动的方法需要这些验证器来验证候选解决方案。专注于改进系统性能的研究特别适合这一范例，因为系统性能问题天然地容纳此类验证器：候选方案可以实现于真实系统或模拟器中，并针对预定义的工作负载进行评估。我们称之为 AI-Driven Research for Systems（ADRS）。使用几个开源 ADRS 实例（即 OpenEvolve、GEPA 和 ShinkaEvolve），我们在十个案例研究中（例如多区域云调度、混合专家负载均衡、基于 LLM 的 SQL、事务调度）展示了 ADRS 生成的解决方案可以匹配甚至超越人类最先进的设计。基于这些发现，我们概述了有效使用 ADRS 的最佳实践（例如提示规格的程度、反馈的量、稳健评估），并讨论了未来研究方向及其含义。虽然我们尚未拥有一种适用于系统研究所有领域的通用配方，但我们希望这些初步发现，以及我们所识别的挑战，为未来工作提供有意义的指导，随着研究人员的努力越来越多地转向问题表述和战略监督。注意：本文是我们先前工作[14]的扩展。它涵盖了多个 ADRS 框架的广泛评估，并对最佳实践进行更深入的分析和洞察。
引用
@article{arxiv.2512.14806,
title = {Let the Barbarians In: How AI Can Accelerate Systems Performance Research},
author = {Audrey Cheng and Shu Liu and Melissa Pan and Zhifei Li and Shubham Agarwal and Mert Cemri and Bowen Wang and Alexander Krentsel and Tian Xia and Jongseok Park and Shuo Yang and Jeff Chen and Lakshya Agrawal and Ashwin Naren and Shulu Li and Ruiying Ma and Aditya Desai and Jiarong Xing and Koushik Sen and Matei Zaharia and Ion Stoica},
journal= {arXiv preprint arXiv:2512.14806},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2510.06189