增强Q学习方法实现概率布尔控制网络有限时间最大概率可达性
系统与控制
2023-12-13 v1 系统与控制
摘要
本文研究了控制概率布尔控制网络（PBCNs）以在有限时间范围内以最大概率实现可达性的问题。我们解决三个问题：1) 在固定特别是变化的有限时间范围内，找到以最大概率实现可达性的控制策略；2) 利用先验知识在时间作为变量框架的场景下以更快的收敛速度解决问题1)；3) 提出一种增强的Q学习（QL）方法，以有效解决大规模PBCNs的上述问题。对于问题1)，我们证明了QL方法在有限时间可达性问题上的适用性。对于问题2)，考虑到时间框架变化的可能性，我们引入迁移学习（TL）技术以利用先验知识并提高收敛速度。对于问题3)，我们提出一种增强的无模型QL方法，通过引入内存高效修改来改进传统QL算法，以有效解决大规模PBCNs中的这些问题。最后，我们将所提方法应用于两个示例：一个小规模PBCN和一个大规模PBCN，证明了我们方法的有效性。
引用
@article{arxiv.2312.06904,
title = {Enhanced Q-Learning Approach to Finite-Time Reachability with Maximum Probability for Probabilistic Boolean Control Networks},
author = {Hongyue Fan and Jingjie Ni and Fangfei Li},
journal= {arXiv preprint arXiv:2312.06904},
year = {2023}
}