针对未知马尔可夫信源的错误信息年龄最小化

信息年龄最小化问题已在实时监测应用框架中得到广泛研究。本文考虑监测根据马尔可夫过程演化的未知远端信源状态的问题。中央调度器在每个时隙决定是否调度该信源以接收新的状态更新,从而最小化平均错误信息年龄(MAoII)。当调度器已知信源参数时,我们将最小化问题建模为MDP问题,并证明最优解为基于阈值的策略。当信源参数未知时,问题的难点在于找到在利用与探索之间具有良好权衡的策略。事实上,我们需要提供一种由调度器实现的算法,联合估计未知参数(探索)并最小化MAoII(利用)。然而,考虑我们的系统模型,仅当监视器决定调度信源时才能探索该信源。于是,应用贪婪方法,我们面临如下风险:在特定时刻若对马尔可夫信源参数估计出的对应最优解恰为永不传输,则探索过程将永久停止。此时我们无法改进未知参数的估计,可能严重损害算法性能。为此,我们开发了一种新的学习算法,在探索与利用间取得良好平衡以避免该主要问题。接着,我们通过证明至时刻T的遗憾界为log(T),从理论上分析了算法相对于genie解的性能。最后,我们给出若干数值结果,以凸显所推导策略相比贪婪方法的性能优势。