ORACL：基于 LLM 链式思维优化微服务自动扩展推理
分布式、并行与集群计算
2026-02-06 v1
摘要
应用程序正从单体设计转向微服务和无服务器架构，这类架构由在公有云上运行的轻量级独立可部署组件组成。自动扩展是平衡资源利用和服务质量的主要控制机制，但现有政策要么是需要大量部署特定训练的黑盒学习模型，要么是难以推广的脆弱手工调优规则。我们调查大型语言模型是否可作为跨快速演化的微服务部署自适应的通用少样本资源分配器。我们提出了 ORACL，即微服务自动扩展链式思维 LLM 优化推理框架，利用先验知识和链式思维推理来诊断性能回归并推荐资源分配。ORACL 将运行遥测数据（包括 pod、副本、CPU 和内存使用情况、延迟、服务水平目标以及故障信号）转化为语义化的自然语言状态描述，并调用 LLM 生成可解释的中间推理轨迹。该推理识别可能的根因，修剪行动空间，并在策略约束下发布安全的分配决策。针对代表性开源微服务工作负载的实验表明，ORACL 在根因识别准确率上提升了 15 倍，在训练加速方面提升了最高 24 倍，在短期场景下的服务质量提升了 6 百分点，且无需部署特定 retraining。
引用
@article{arxiv.2602.05292,
title = {ORACL: Optimized Reasoning for Autoscaling via Chain of Thought with LLMs for Microservices},
author = {Haoyu Bai and Muhammed Tawfiqul Islam and Minxian Xu and Rajkumar Buyya},
journal= {arXiv preprint arXiv:2602.05292},
year = {2026}
}