DeepScalper：一种捕捉转瞬即逝日内交易机会的风险感知强化学习框架
交易与市场微观结构
2022-08-23 v3 人工智能
机器学习
摘要
强化学习（RL）技术在许多具有挑战性的量化交易任务中已显示出巨大成功，如投资组合管理和算法交易。尤其是，日内交易因反映数十亿快速波动资本的市场日内行为，成为最盈利且高风险的任务之一。然而，绝大多数现有RL方法关注相对低频交易场景（如日级），并因两大挑战未能捕捉转瞬即逝的日内投资机会：1）如何有效训练盈利的RL智能体进行日内投资决策，其涉及高维细粒度动作空间；2）如何学习有意义的多模态市场表示以在tick级理解金融市场的日内行为。受专业人类日内交易者高效工作流的启发，我们提出DeepScalper，一种用于日内交易的深度强化学习框架以应对上述挑战。具体而言，DeepScalper包含四个组件：1）带动作分支的对决Q网络，以处理日内交易的大动作空间从而实现高效RL优化；2）带后见之明奖励的新型奖励函数，鼓励RL智能体以整个交易日的长期视野做出交易决策；3）编码器-解码器架构以学习融合宏观与微观市场信息的多模态时间市场嵌入；4）风险感知辅助任务，以在利润最大化和风险最小化之间维持显著平衡。通过对涵盖三年、六个金融期货的真实市场数据的大量实验，我们证明DeepScalper在四项金融标准上显著优于许多最先进基线。
引用
@article{arxiv.2201.09058,
title = {DeepScalper: A Risk-Aware Reinforcement Learning Framework to Capture Fleeting Intraday Trading Opportunities},
author = {Shuo Sun and Wanqi Xue and Rundong Wang and Xu He and Junlei Zhu and Jian Li and Bo An},
journal= {arXiv preprint arXiv:2201.09058},
year = {2022}
}