结合区块链技术的 Proximal Policy Optimization 与日前能源交易优化

可再生能源在日前能源市场的渗透率增加，带来了在供需平衡、确保电网韧性以及维护去中心化交易系统可信度方面的挑战。本文提出了一种新框架，将 Proximal Policy Optimization (PPO) 算法——一种最先进的强化学习方法——与区块链技术集成，以优化日前能源市场中 prosumer 的自动化交易策略。我们引入一个综合框架，利用 RL 智能体进行多目标能源优化，并利用区块链进行防篡改的数据和交易管理。使用来自 ERCOT (Electricity Reliability Council of Texas) 的真实世界数据进行仿真，显示我们方法的有效性。RL 智能体在大多数运行小时内实现供需平衡 within 2%，并维持近乳最优的供应成本。此外，它生成能够处理日照和风力发电变动性的稳健储电池策略。所有决策都记录在基于 Algorand 的区块链上，确保透明度、可审计性和安全性——可信赖的多智能体能源交易的关键要素。我们的贡献包括 novel system architecture、强化学习教程以及可用于实际部署的可操作政策见解。