强化学习应用于电热水器：从理论到实践
机器学习
2015-12-02 v1
摘要
电热水器能够在其水缓冲器中存储能量而不影响终端用户的舒适度。这一特性使它们成为居民需求响应的主要候选。然而，电热水器的随机和非线性动态使其灵活性的利用具有挑战性。受此挑战驱动，本文将底层序贯决策问题表述为马尔可夫决策过程并使用了强化学习技术。具体地，我们应用自动编码器网络来寻找传感器测量的紧凑特征表示，这有助于缓解维度灾难。给定该特征表示，使用一种著名的批量强化学习技术——拟合 Q-迭代（fitted Q-iteration）——来寻找控制策略。在基于仿真的实验中，使用带有 50 个温度传感器的电热水器，所提方法能够比使用完整状态信息时更快获得良好策略。在实验室实验中，我们将拟合 Q-迭代应用于带有 8 个温度传感器的电热水器。进一步缩减状态向量并未改善拟合 Q-迭代的结果。跨度 40 天的实验室实验结果表明，与恒温器控制器相比，所提方法能够将电热水器的能源消耗总成本降低 15%。
引用
@article{arxiv.1512.00408,
title = {Reinforcement Learning Applied to an Electric Water Heater: From Theory to Practice},
author = {Frederik Ruelens and Bert Claessens and Salman Quaiyum and Bart De Schutter and Robert Babuska and Ronnie Belmans},
journal= {arXiv preprint arXiv:1512.00408},
year = {2015}
}
备注
Submitted to IEEE transaction on smart grid