考虑模型风险的绿色仿真辅助强化学习用于生物制药学习与控制
机器学习
2020-06-18 v1 人工智能
机器学习
摘要
生物制药生产面临关键挑战，包括复杂性、高变异性、长前置时间，以及底层系统随机过程的历史数据与知识有限。为应对这些挑战，我们提出一种绿色仿真辅助的基于模型的强化学习，以支持过程在线学习并指导动态决策。基本上，过程模型风险由后验分布量化。在任意给定策略下，我们预测期望系统响应，其预测风险同时考虑固有随机不确定性与模型风险。然后，我们提出绿色仿真辅助强化学习，并推导决策过程的混合提议分布与基于似然比的策略梯度元模型，其可有选择地复用先前实验收集的过程轨迹输出，以提高仿真数据效率、改善策略梯度估计精度，并加速最优策略的搜索。我们的数值研究表明，所提方法展现出有前景的性能。
引用
@article{arxiv.2006.09919,
title = {Green Simulation Assisted Reinforcement Learning with Model Risk for Biomanufacturing Learning and Control},
author = {Hua Zheng and Wei Xie and Mingbin Ben Feng},
journal= {arXiv preprint arXiv:2006.09919},
year = {2020}
}
备注
12 pages, 1 figures. To appear in the Proceedings of the 2020 Winter Simulation Conference (WSC)