IMM：一种基于预测表示学习与模仿强化学习的自动做市方法
机器学习
2023-08-21 v1 人工智能
交易与市场微观结构
摘要
做市（MM）因其在保障市场流动性方面的关键功能而在金融交易中备受关注。凭借在序贯决策中的强大能力，强化学习（RL）技术在量化交易中取得了显著成功。然而，多数现有基于 RL 的 MM 方法聚焦于优化单价位策略，其在频繁撤单与排队优先级丧失方面表现不佳。涉及多价位的策略更契合实际交易场景。但鉴于多价位策略涉及综合交易动作空间的复杂性，有效训练盈利性 RL 做市智能体这一挑战依然存在。受专业人类做市商高效工作流的启发，我们提出模仿做市商（IMM），一种新颖的 RL 框架，利用来自次优基于信号的专家知识与直接策略交互，高效开发多价位 MM 策略。该框架首先引入善于编码多价位订单信息的有效状态与动作表示。此外，IMM 集成一个能捕捉短期与长期市场趋势以降低逆向选择风险的表示学习单元。随后，IMM 基于信号制定专家策略，并通过 RL 与模仿学习技术相融合训练智能体，实现高效学习。在四个真实市场数据集上的大量实验结果表明，IMM 在多项金融准则上优于当前基于 RL 的做市策略。消融研究的结果证实了各模型组件的有效性。
引用
@article{arxiv.2308.08918,
title = {IMM: An Imitative Reinforcement Learning Approach with Predictive Representation Learning for Automatic Market Making},
author = {Hui Niu and Siyuan Li and Jiahao Zheng and Zhouchi Lin and Jian Li and Jian Guo and Bo An},
journal= {arXiv preprint arXiv:2308.08918},
year = {2023}
}