部分观测下的 population dynamics 控制

我们研究了从在概率单形上演化的线性动力系统（即 population dynamics）角度出发的在线非随机控制问题。虽然 Golowich 等人于2024年分析了完全可观测的设置，但我们关注更现实的部分可观测情况，即只能访问状态的低维表示。在经典非随机控制中，输入被设定为过去扰动的线性组合。然而，在部分观测情况下，扰动无法直接计算。为此，Simchowitz 等人于2020年提出构建无感知信号（oblivious signals），即带零控制的假设观测，用以替代。这在我们的设置中提出了若干挑战：（1）如何在单形约束下构建无感知信号，其中零控制不可行；（2）如何设计针对这些信号足够表达力的凸控制器参数化；（3）如何在投影可能破坏成本函数凸性的前提下，对控制施加单形约束。我们的主要贡献是实现了一个达到 optimal $\tilde{O}(\sqrt{T})$ 后悔regret 的新型控制器。为解决这些挑战，我们基于常数控制下假设观测构建信号，适应单形域；引入新的控制器参数化，近似一般线性控制策略中对非无感知观测的响应。此外，我们采用受 Lattimore 2024 启发的新型凸扩展 surrogate loss，以规避投影引起的凸性问题。