基于分布式强化学习的天然气期货交易风险对策
机器学习
2025-01-09 v1
摘要
近年来，金融市场经历了显著的不稳定，为交易带来了独特挑战，并增加了对风险对策的兴趣。分布式强化学习（RL）算法通过建模回报的完整分布而非仅关注期望值，为管理市场不确定性提供了有前景的途径。本文通过研究三种分布式 RL 算法在天然气期货交易中的有效性，探索其发展风险对策的能力。具体而言，我们分析了Categorical Deep Q-Network（C51）、Quantile Regression Deep Q-Network（QR-DQN）和Implicit Quantile Network（IQN）的性能和行为。鉴于这些算法在交易语境中尚未被应用，我们将这些策略与五种机器学习（ML）基线进行比较，采用由Predictive Layer SA 提供的详细数据集，该公司为能源交易提供基于机器学习的策略。本研究的主要贡献如下：（1）我们证明了分布式 RL 算法显著优于经典 RL 方法，C51 实现了超过32%的性能提升。（2）我们表明，训练C51和IQN以最大化CVaR，可产生具有可调风险厌恶性的风险敏感政策。具体而言，我们的消融研究表明，较低的CVaR置信水平增加风险厌恶，而较高的置信水平则降低风险厌恶，为灵活的风险管理提供了选项。相比之下，QR-DQN 表现出不太可预测的行为。这些发现凸显了分布式 RL 在开发适应性、风险对策方面的潜力，以应对波动的市场。
引用
@article{arxiv.2501.04421,
title = {Risk-averse policies for natural gas futures trading using distributional reinforcement learning},
author = {Félicien Hêche and Biagio Nigro and Oussama Barakat and Stephan Robert-Nicoud},
journal= {arXiv preprint arXiv:2501.04421},
year = {2025}
}