网格交互建筑中多智能体强化学习的现实挑战
机器学习
2022-09-13 v2 人工智能
系统与控制
系统与控制
摘要
基于先前强调建筑控制研究需标准化环境的工作，并受近期引入的真实生活强化学习控制挑战的启发，我们在此提出一组非穷举的九项网格交互建筑中强化学习控制的现实挑战。我们认为该领域的研究除提供标准化环境以保证可重复性外，还应在此框架内表达。模型预测控制与强化学习（RL）控制等先进控制器各有优劣，阻碍其在现实问题中的落地。二者间的比较很少且常存偏倚。通过聚焦这些挑战，我们能在多种情境下考察控制器性能并给出公平比较。作为示范，我们在 CityLearn 中实现了离线学习挑战，并研究了不同领域知识水平与 RL 算法复杂度的影响。我们表明，用于离线训练的规则基控制器（RBC）所采用的操作序列，在基于四项能源灵活性指标评估时会影响 RL 智能体的性能。从优化后的 RBC 进行更长的离线学习可带来长期的性能提升。从简化版 RBC 学习的 RL 智能体随着离线学习周期变长面临性能变差的风险。我们还观察到智能体间的信息共享对性能无影响。我们呼吁研究界开展更跨学科的努力以应对现实挑战，释放网格交互建筑的潜力。
引用
@article{arxiv.2112.06127,
title = {Real-world challenges for multi-agent reinforcement learning in grid-interactive buildings},
author = {Kingsley Nweye and Bo Liu and Peter Stone and Zoltan Nagy},
journal= {arXiv preprint arXiv:2112.06127},
year = {2022}
}
备注
under review