具有采样成本的马尔可夫系统中的状态转换监测

我们考虑一个节点-监测器对，其中节点的状态随时间变化。监测器需要始终跟踪节点的状态；然而，每次状态查询都有固定成本。因此，监测器可以改用时间序列预测方法（包括时间序列基础模型（TSFMs））来预测状态，并且仅在预测不确定性高时进行查询。由于查询决策影响预测精度，确定何时查询并非易事。一种自然的方法是贪心策略，即当预期预测损失低于查询成本时进行预测，否则进行查询。我们在马尔可夫设置中分析该策略，其中最优（OPT）策略是一种依赖于状态的阈值策略，用于最小化查询成本和预测损失的时间平均总和。我们表明，一般来说，贪心策略是次优的，并且可能具有无界的竞争比，但在常见条件下（例如同分布的转移概率），其表现接近OPT。对于转移概率未知的情况，我们进一步提出了一种基于投影随机梯度下降（PSGD）的贪心策略学习变体，与OPT相比，该变体在提高计算效率的同时实现了良好的预测-查询权衡。