大型语言模型优化器的收敛性分析
信息论
2025-07-04 v1 信号处理
math.IT
摘要
未来的无线网络预计将融合多样化服务，这些服务常缺乏通用数学模型。为解决此类黑箱网络管理任务，近期提出的大型语言模型（LLM）优化器框架——利用预训练 LLM 作为优化代理——被视为有前景的解决方案。该框架利用描述给定优化问题的自然语言提示以及 LLM 本身生成的过往解决方案。因此，LLM 可以在无需了解目标函数数学模型的情况下自主获取高效解决方案。尽管 LLM 优化器（LLMO）框架的可行性已在 various black-box 场景中进行研究，但迄今为止仅限于数值仿真。本文首次为 LLMO 框架建立理论基础。通过对 LLM 推理步骤的深入考察，我们可将 LLMO 流程解释为有限状态马尔可夫链，并证明该框架的收敛性。我们的结果扩展至更高级的多 LLM 架构，严格验证了多 LLM 的收敛率影响。广泛的数值仿真验证了我们的理论结果，并深化了对 LLMO 框架底层机制的理解。
引用
@article{arxiv.2507.02689,
title = {On the Convergence of Large Language Model Optimizer for Black-Box Network Management},
author = {Hoon Lee and Wentao Zhou and Merouane Debbah and Inkyu Lee},
journal= {arXiv preprint arXiv:2507.02689},
year = {2025}
}