用于主动高频交易的深度强化学习

我们介绍了首个基于端到端深度强化学习（DRL）的股票市场主动高频交易框架。我们训练 DRL 智能体，利用近端策略优化算法交易一单位英特尔公司股票。训练在三个月连续的高频限价订单簿数据上进行，其中最后一个月作为验证数据。为最大化训练数据中的信噪比，我们仅选取价格变化最大的训练样本来构成训练集。测试则在随后一个月的数据上进行。超参数使用序贯基于模型的优化技术进行调优。我们考虑了三种不同的状态表征，其区别在于基于订单簿的元特征。分析智能体在测试数据上的表现，我们认为智能体能够建立对底层环境的动态表征。它们识别数据中偶发的规律性并加以利用，以创建长期盈利的交易策略。事实上，尽管环境高度随机且非平稳，智能体学习到的交易策略仍能产生稳定的正收益。