Distill2Explain：用于能源应用控制器可解释强化学习的可微决策树

需求侧灵活性作为能源转型过程中的关键要素正变得越来越重要。住宅部门约占全球最终能源消耗的 25%，是能源灵活性的重要（潜在）来源。然而，释放这种灵活性需要开发一个具有以下特点的控制框架：(1) 易于在不同房屋间扩展，(2) 易于维护，(3) 对最终用户来说易于理解。此类任务的一个潜在控制框架是数据驱动控制，具体而言是无模型强化学习 (RL)。此类基于 RL 的控制器通过与环境的交互来学习良好的控制策略，纯粹基于数据学习且只需最少的人工干预。然而，它们缺乏可解释性，这阻碍了用户接受度。此外，住宅资产有限的硬件能力构成了障碍（例如，使用深度神经网络）。为了克服这两个挑战，我们提出了一种利用可微决策树获得可解释 RL 策略的新方法。使用策略蒸馏方法，我们训练这些可微决策树来模仿标准的基于 RL 的控制器，从而产生一种数据驱动且易于解释的基于决策树的控制策略。作为概念验证，我们在基于电池的家庭能源管理系统中检验了所提方法的性能和可解释性，以降低能源成本。对于这个用例，我们表明我们提出的方法可以比基线基于规则的策略高出约 20-25%，同时提供简单、可解释的控制策略。我们进一步将这些可解释策略与标准 RL 策略进行比较，并考察与这种增加的可解释性相关的性能权衡。