增强强化学习以实现共培养中的种群设定点跟踪
系统与控制
2025-08-15 v2 系统与控制
摘要
高效的多设定点跟踪可实现先进的生物技术应用，例如在共培养中维持期望的种群水平，以实现最优的代谢分工。在本研究中，我们采用强化学习作为共培养中种群设定点跟踪的控制方法，重点关注策略梯度技术，其中控制策略由神经网络参数化。然而，在强化学习中实现跨多个设定点的精准跟踪是一项重大挑战，因为智能体必须有效平衡各设定点的贡献，以最大化期望的系统性能。基于二次代价的传统回报函数往往因无法高效引导智能体同时满足所有设定点而导致次优性能。为克服这一问题，我们提出了一种新颖的回报函数，该函数奖励多个设定点的同时满足，否则降低整体奖励增益，同时考虑阶段性和终端系统性能。该回报函数包含可调节参数，用于微调学习过程的期望平滑度和陡峭程度。我们通过考虑化学统培养器中的大肠杆菌共培养，利用光遗传控制氨基酸合成途径，并借助营养缺陷型特性调节生长，来演示我们的方法。
引用
@article{arxiv.2411.09177,
title = {Enhancing reinforcement learning for population setpoint tracking in co-cultures},
author = {Sebastián Espinel-Ríos and Joyce Qiaoxi Mo and Dongda Zhang and Ehecatl Antonio del Rio-Chanona and José L. Avalos},
journal= {arXiv preprint arXiv:2411.09177},
year = {2025}
}