通过黑箱在线调优提升LLM性能：为受信AI Factsheets添加系统规范的案例
人工智能
2026-03-13 v1 性能
摘要
本文提出了一种新型黑箱在线控制器，仅依赖于短时段的端到端测量，无需内部仪器，运用爬山法最大化goodput——即满足服务级目标(SLO)请求的吞吐量。我们提供了实证证据，证明该设计是合理的。以LLM serving为具体案例，随后讨论了将系统性能和可持续性指标整合到组织采纳AI系统的Factsheets中的重要性。
引用
@article{arxiv.2603.11340,
title = {Improving LLM Performance Through Black-Box Online Tuning: A Case for Adding System Specs to Factsheets for Trusted AI},
author = {Yonas Atinafu and Henry Lin and Robin Cohen},
journal= {arXiv preprint arXiv:2603.11340},
year = {2026}
}