离散最优控制的一种凸优化方法

在本文中，我们将著名的 max-weight 特征（短视和离散动作）引入主流凸优化。短视动作在控制中很重要，因为决策需要以在线方式做出且无需未来事件的知识；离散动作则因为许多系统具有有限（因此非凸）数量的控制决策。例如，通信网络中是否传输一个数据包。我们的结果表明，通过使用随机和 $\epsilon$-子梯度，这两个特征可以被纳入 Lagrange 对偶问题的子梯度方法中。我们方法的一个吸引人之处在于它将控制动作的选择与子梯度的特定选择解耦，这使我们能够设计控制策略而不改变底层的凸更新。提出了两类离散控制策略：一类仅通过查看系统当前状态即可做出离散动作，另一类使用块来选择动作。后一类对于处理在动作选择顺序上有约束的系统很有用。