超越黑盒策略：重新设计可解释且可验证的HVAC控制学习智能体
系统与控制
2024-03-04 v1 人工智能
机器学习
系统与控制
摘要
近期研究表明，基于模型的强化学习（MBRL）在提高供暖、通风和空调（HVAC）系统能效方面具有潜力。然而，现有方法依赖黑盒热动力学模型和随机优化器，缺乏可靠性保证，并对居住者健康构成风险。在这项工作中，我们通过使用从现有热动力学模型和历史数据中提取的决策树重新设计HVAC控制器，克服了可靠性瓶颈。我们的基于决策树的策略是确定性的、可验证的、可解释的，并且比当前的MBRL方法更节能。首先，我们基于领域知识为HVAC控制中的强化学习智能体引入了一种新颖的验证标准。其次，我们开发了一种策略提取过程，生成可验证的决策树策略。我们发现热动力学模型输入的高维性阻碍了策略提取的效率。为了应对维度挑战，我们利用基于历史数据分布的重要性采样，显著提高了策略提取效率。最后，我们提出了一种离线验证算法，保证控制策略的可靠性。大量实验表明，与最先进方法相比，我们的方法节省了68.4%的能源，人类舒适度增益提高了14.8%，同时计算开销减少了1127倍。我们的代码和数据可在https://github.com/ryeii/Veri_HVAC获取。
引用
@article{arxiv.2403.00172,
title = {Go Beyond Black-box Policies: Rethinking the Design of Learning Agent for Interpretable and Verifiable HVAC Control},
author = {Zhiyu An and Xianzhong Ding and Wan Du},
journal= {arXiv preprint arXiv:2403.00172},
year = {2024}
}
备注
Accepted for the 61st Design Automation Conference (DAC)