面向自主温室控制的鲁棒基于模型强化学习
人工智能
2021-10-20 v2
摘要
由于高效率和较少依赖天气，自主温室为满足对新鲜食品日益增长的需求提供了理想的解决方案。然而，管理者在寻找合适的作物生长控制策略时面临一些挑战，因为温室控制问题的决策空间是一个天文数字。因此，高度期望一种智能闭环控制框架来生成自动控制策略。作为最优控制的强大工具，强化学习（RL）算法能够超越人类的决策能力，并且可以无缝集成到闭环控制框架中。然而，在农业自动化控制等复杂的真实世界场景中，与环境的交互既耗时又昂贵，RL 算法的应用遇到了两个主要挑战，即样本效率和安全性。尽管基于模型的 RL 方法可以极大缓解温室控制的效率问题，但安全问题尚未得到太多关注。本文提出了一种基于模型的鲁棒 RL 框架，用于自主温室控制，以应对样本效率和安全性挑战。具体而言，我们的框架引入了一组环境模型作为模拟器并协助策略优化，从而解决样本效率低下的问题。针对安全性问题，我们提出了一个样本丢弃模块，以更多地关注最坏情况下的样本，这有助于提高温室种植策略在极端情况下的适应性。实验结果表明，与现有方法相比，我们的方法能够学习到更有效且具有更好鲁棒性的温室种植策略。
引用
@article{arxiv.2108.11645,
title = {Robust Model-based Reinforcement Learning for Autonomous Greenhouse Control},
author = {Wanpeng Zhang and Xiaoyan Cao and Yao Yao and Zhicheng An and Xi Xiao and Dijun Luo},
journal= {arXiv preprint arXiv:2108.11645},
year = {2021}
}