面向物联网系统的信息新鲜度优化：基于令牌的方法

在物联网状态更新系统中，信息从源节点被采样后传输到目标节点，保持信息时效性并以最佳频率更新系统至为重要。在资源受限的状态更新系统中，优化信息新鲜度通常涉及具有更新频率约束的受约束马尔可夫决策过程(CMDP)。解决CMDP问题，特别是多约束情形，具有挑战性。为此，我们提出一种令牌方法，将CMDP转化为无约束的MDP，从而简化求解过程。我们将该方法应用于在更新频率约束下优化年龄不正确信息(Age of Incorrect Information, AoII)和年龄信息(Age of Information, AoI)指标的系统中，并探讨其分析和数值方面的应用。此外，我们引入一种迭代三角分段方法，用于求解具有两个约束的CMDP问题，并与令牌方法的MDP求解结果进行比较。我们的发现表明，令牌方法在基线策略之上具有优异性能，随着最大令牌数的增加，收敛于最优策略。