基于强化学习的做市作为非平稳限价订单簿动态上的随机控制

强化学习已成为开发自适应和数据驱动策略的一种有前景的框架，使做市商能够基于与限价订单簿环境的交互来优化决策策略。本文探讨了在做市情境下集成强化学习智能体，其中底层市场动态已被明确建模，以捕捉真实市场的观测到的典型事实，包括订单到达时间的聚集、非平稳价差和收益漂移、随机订单数量及价格波动。这些机制旨在增强所生成的控制智能体的稳定性，并将领域特定知识融入智能体的策略学习过程中。我们的贡献包括基于近端策略优化（PPO）算法的做市智能体的实际实现，以及通过基于模拟器的环境对不同市场条件下智能体性能的比较评估。与闭式最优解相比，我们对财务收益和风险指标的分析表明，强化学习智能体可在非平稳市场条件下有效使用，且所提出的基于模拟器的环境可作为做市场景中训练和预训练强化学习智能体的宝贵工具。