面向网络-物理系统的层次化去中心化随机控制
系统与控制
2025-08-28 v3 机器学习
多智能体系统
系统与控制
最优化与控制
摘要
本文引入了一种面向网络物理系统（CPS）的两时刻尺度层次化去中心化控制架构。该系统由全局控制器（GC）和 N 个局部控制器（LC）组成。GC 在较慢的时刻尺度上施加对 LC 动作的预算约束，而 LC 在较快的时刻尺度上工作。可应用于能源电网规划、野火管理及其他去中心化资源分配问题。我们提出并分析了两种优化框架：COpt 和 FOpt。在 COpt 中，GC 和 LC 一起优化无限时刻折扣奖励；而在 FOpt 中，LC 优化有限时刻序列奖励，GC 优化无限时刻奖励。尽管两种框架共享相同的奖励函数，但其不同的时刻尺度可能导致不同的最优策略。特别是，FOpt 通过允许 LC 的策略仅由本地目标决定，赋予了 LC 更大的自主权。我们不妄议地将这些框架在文献中进行研究。我们建立了模型、证明了最优策略的存在性，并证明了其价值迭代算法的收敛性。我们进一步展示了 COpt 永远实现高于 FOpt 的价值函数，并推导了它们差异的显式界限。最后，我们建立了两种框架等价的充分结构性条件。
引用
@article{arxiv.2506.22971,
title = {Hierarchical Decentralized Stochastic Control for Cyber-Physical Systems},
author = {Kesav Kaza and Ramachandran Anantharaman and Rahul Meshram},
journal= {arXiv preprint arXiv:2506.22971},
year = {2025}
}
备注
8 pages, 2 figures