基于策略迭代的平稳马尔可夫链最优传输

我们研究平稳有限状态马尔可夫链对的最优传输问题，重点关注最优转移耦合的计算。转移耦合是一类受约束的传输计划，它捕捉了马尔可夫链的动力学。最优转移耦合问题的解对应于最小化长期平均成本的两条链的对齐。我们建立了最优转移耦合问题与马尔可夫决策过程之间的联系，并证明最优转移耦合问题的解可以通过策略迭代的改编来获得。对于状态空间较大的设置，我们基于最优转移耦合问题的熵正则化版本开发了一种快速近似算法，并给出了其每次迭代复杂度的界限。我们为正则化和非正则化算法都建立了稳定性结果，由此得出统计一致性结果作为推论。我们通过模拟研究实证验证了我们的理论结果，证明近似算法在低误差下表现出更快的总体运行时间。最后，我们将我们的方法设置和应用扩展到隐马尔可夫模型，并通过一个计算机生成音乐的应用说明了所提算法在实践中的潜在用途。