维持马尔可夫链非平衡分布的最小功率

生物系统利用能量长时间维持非平衡分布，例如化学浓度或蛋白质构象的分布。将随机系统“保持”在所需状态分布上所消耗功率的基本极限是什么？我们研究如下设定：将不受控马尔可夫链 $Q$ 改变为具有所需平稳分布的可控链 $P$。热力学考量引出适当定义的 Kullback-Leibler (KL) 散度率 $D(P||Q)$ 作为控制代价，这一设定由 Todorov 引入，对应于具有平均对数损失动作代价的马尔可夫决策过程。最优可控链 $P^*$ 在平稳分布约束下最小化 KL 散度率 $D(\cdot||Q)$，且最小 KL 散度率给出了所用功率的下界。尽管该优化问题在-large deviations 文献中为人熟知，我们提供了作为最小“保持代价”的新颖解释，并比以往更显式地计算出极小元 $P^*$。我们给出了离散时间和连续时间马尔可夫链的结果版本，并对重要的可逆不受控链 $Q$、两态链以及生灭过程找到了简洁表达式。