基于强化学习的最小状态翻转布尔控制网络可达性控制
系统与控制
2024-08-13 v2 系统与控制
摘要
本文提出用于布尔控制网络（BCNs）中最小代价状态翻转控制的免模型强化学习方法。我们解决两个问题：1）寻找翻转核，即保证可达性的基数最小的翻转集合；2）基于所得翻转核导出最优策略以最小化可达所需的翻转动作次数。针对问题 1)，展示了 Q-learning 确定可达性的能力。为加速收敛，我们引入两项改进：i）证明在翻转集合中添加元素后先前可达状态仍可达，随后采用迁移学习；ii）以当前到目标状态集可达性未知的特殊初始状态启动每一回合。问题 2) 需要带终端约束的最优控制，而 Q-learning 仅处理无约束问题。为弥合差距，我们提出基于 BCN 特性的奖励方案并证明其最优性。大规模 BCNs 的问题 1) 与 2) 通过采用小内存 Q-learning 解决，其仅记录已访问动作值以减少内存占用。给出了内存使用的上界以评估算法可行性。为加速大规模 BCNs 中问题 2) 的收敛，我们引入基于已知无环到达目标状态集所需最大步数的自适应变奖励。最后，所提方法在小型与大型 BCNs 上的有效性得到验证。
引用
@article{arxiv.2304.04950,
title = {Reinforcement Learning Based Minimum State-flipped Control for the Reachability of Boolean Control Networks},
author = {Jingjie Ni and Yang Tang and Fangfei Li},
journal= {arXiv preprint arXiv:2304.04950},
year = {2024}
}