通过文本到文本回归进行大型系统性能预测
机器学习
2025-06-30 v1 人工智能
性能
软件工程
系统与控制
系统与控制
摘要
在许多行业中，预测大型系统的指标结果是基本问题，主要驱动来自传统的表格回归方法。然而，这些方法在野外复杂系统数据上（如配置文件或系统日志）难以处理，因而特征工程往往不可行。我们提出将文本到文本回归作为通用、可扩展的替代方案。对于预测Borg（谷歌的大规模计算集群调度系统）中资源效率，一个6000万参数的编码器-解码器模型，从随机初始化训练，实现了在整个车队范围内最高达近乎完美的0.99（平均为0.9）的秩相关，表格方法的均方根误差降低100倍。该模型还能仅通过500个few-shot示例轻松适应新任务，并捕捉复杂结果分布的密度。消融研究突出表明使用编码器、增加序列长度以及模型固有的不确定性量化的重要性。这些发现为通用真实世界结果模拟器铺平了道路。
引用
@article{arxiv.2506.21718,
title = {Performance Prediction for Large Systems via Text-to-Text Regression},
author = {Yash Akhauri and Bryan Lewandowski and Cheng-Hsi Lin and Adrian N. Reyes and Grant C. Forbes and Arissa Wongpanich and Bangding Yang and Mohamed S. Abdelfattah and Sagi Perel and Xingyou Song},
journal= {arXiv preprint arXiv:2506.21718},
year = {2025}
}
备注
Code can be found at https://github.com/google-deepmind/regress-lm