宏观高频交易：基于记忆增强的情境感知强化学习方法

在短时间尺度上执行算法交易的高频交易（HFT）最近在加密货币市场中占据了主导地位。除了传统的量化交易方法外，强化学习（RL）由于其处理高维金融数据和解决复杂序列决策问题的卓越能力，已成为HFT备受青睐的另一种方法，例如层次强化学习（HRL）在秒级HFT中通过训练路由器从代理池中选择唯一一个子代理来执行当前交易，展现了前景的性能。然而，现有的HFT方法仍存在一些缺陷：1）基于标准RL的交易代理存在过拟合问题，阻碍其根据金融情境进行有效的策略调整；2）由于市场条件的快速变化，单个代理所做的投资决策往往片面且高度偏斜，可能在极端市场中导致重大损失。为解决这些问题，我们提出了一种 novel 的记忆增强情境感知强化学习方法，用于HFT，即宏观HFT（MacroHFT），其由两个训练阶段组成：1）我们首先根据各种金融指标（具体包括市场趋势和波动性）分解市场数据，训练多种类型的子代理，其中每个代理都拥有一个条件适配器，以根据市场条件调整其交易策略；2）然后我们训练一个超级代理，将这些子代理的决策混合输出一致盈利的元策略，以处理快速的市场波动，并配备记忆机制以增强决策能力。广泛的实验表明，宏观HFT在分钟级交易任务上能够实现最先进的性能。