基于强化学习的非马尔可夫细胞群体动力学控制

许多生物体和细胞类型，从细菌到癌细胞，都表现出对波动环境的显著适应能力。此外，细胞可以利用对过去环境的记忆，以更好地生存之前遇到的压力。从控制角度来看，这种适应性在驱动细胞群体灭绝方面提出了重大挑战，因而是一个具有临床意义的开放问题。本文聚焦于表现出表型可塑性的细胞群体的药物给药。对于特定在抗性与易感状态之间切换的动力学模型，已知其精确解。然而，当底层系统参数未知且涉及复杂记忆机制的系统时，获取最优解目前不可行。为此，我们应用强化学习(RL)来识别用于控制演化于新型非马尔可夫动力学下的细胞群体的知情给药策略。我们发现，模型无关的深度强化学习能够在存在长程时序动力学时恢复精确解，并控制细胞群体。为进一步在更真实的环境中测试，我们展示了在测量噪声和动态记忆强度环境下具有鲁棒性的RL控制策略。