barbarians at the gate：AI 如何颠覆系统研究
人工智能
2025-10-13 v3
摘要
人工智能 (AI) 正在通过自动化发现新解决方案来改变我们所熟知的研究过程。给定任务后，典型的 AI 驱动方法是 (i) 生成一组多样化解决方案，然后 (ii) 验证这些解决方案并选择解决问题的方案。关键在于假设存在可靠的验证器，即能够准确判断解决方案是否解决给定问题的工具。我们认为，系统研究长期致力于设计和评估新性能算法的工作，特别适合 AI 驱动的解决方案发现。这源于系统性能问题天然适合可靠的验证器：解决方案通常在真实系统或模拟器中实现，验证过程简化为针对预定义工作负载运行这些软件实体并测量性能。我们称之为 AI-Driven Research for Systems (ADRS)。我们使用现有的开源 ADRS 实例 penEvolve，展示了涵盖多种领域的案例研究，包括多区域云调度的负载均衡、Mixture-of-Experts 推理、LLM 基于 SQL 查询以及事务调度。在多个实例中，ADRS 发现的算法超过人类设计的现代水平（例如实现最高 5.0 倍运行时改进或 50% 成本降低）。我们提炼出引导算法演化的最佳实践，从提示设计到评估器构建，适用于现有框架。随后，我们讨论了对系统社区的更广泛影响：随着 AI 在算法设计中扮演核心角色，我们认为人类研究员将更聚焦于问题表述和战略指导。这一结果凸显了 AI 的颠覆潜力以及在 AI 时代适应系统研究实践的紧迫需求。
引用
@article{arxiv.2510.06189,
title = {Barbarians at the Gate: How AI is Upending Systems Research},
author = {Audrey Cheng and Shu Liu and Melissa Pan and Zhifei Li and Bowen Wang and Alex Krentsel and Tian Xia and Mert Cemri and Jongseok Park and Shuo Yang and Jeff Chen and Lakshya Agrawal and Aditya Desai and Jiarong Xing and Koushik Sen and Matei Zaharia and Ion Stoica},
journal= {arXiv preprint arXiv:2510.06189},
year = {2025}
}