限价订单簿市场中基于异步深度对偶双Q学习的交易信号执行
交易与市场微观结构
2023-09-27 v2 机器学习
摘要
我们采用深度强化学习(RL)来训练一个智能体，成功地将高频交易信号转化为下达单个限价订单的交易策略。基于ABIDES限价订单簿模拟器，我们构建了一个强化学习OpenAI gym环境，并利用该环境基于历史订单簿消息模拟了NASDAQ股票的逼真交易环境。为了训练在该环境中学习最大化交易收益的交易的智能体，我们使用带有APEX(异步优先经验回放)架构的Deep Duelling Double Q-learning。该智能体观察当前限价订单簿状态、其近期历史以及短期方向性预测。为了独立于具体预测算法研究RL用于自适应交易的性能，我们利用通过对前瞻收益施加不同噪声水平扰动而获得的合成alpha信号来研究我们方法的性能。在此，我们发现RL智能体学到了一种用于库存管理和订单下达的有效交易策略，其表现优于可获取相同信号的启发式基准交易策略。
引用
@article{arxiv.2301.08688,
title = {Asynchronous Deep Double Duelling Q-Learning for Trading-Signal Execution in Limit Order Book Markets},
author = {Peer Nagy and Jan-Peter Calliess and Stefan Zohren},
journal= {arXiv preprint arXiv:2301.08688},
year = {2023}
}