弥合 Markowitz 规划与深度强化学习之间的鸿沟
机器学习
2020-10-20 v1 人工智能
多智能体系统
投资组合管理
摘要
尽管资产管理行业的研究人员主要聚焦于基于金融与风险规划技术(如 Markowitz 有效前沿、最小方差、最大分散化或等风险平价)的方法,但与之并行的是,机器学习领域的另一社群已开始研究强化学习,尤其是深度强化学习,以解决自动驾驶、机器人学习等挑战性决策问题,以及在更概念性的层面上如围棋等博弈求解问题。本文旨在通过表明深度强化学习(DRL)技术能够借助更一般的优化设定为投资组合配置提供新视角,从而弥合这两种路径之间的鸿沟;该设定将投资组合配置视为一个最优控制问题,而非仅一步优化,而是一个带有延迟奖励的连续控制优化。其优势众多:(i) DRL 按设计直接将市场条件映射到动作,因而应适应环境变化;(ii) DRL 不依赖任何传统金融风险假设,如以方差表征风险;(iii) DRL 可纳入额外数据并作为一种多输入方法,有别于更传统的优化方法。我们在一个实验中利用卷积网络展示了一些令人鼓舞的结果。
引用
@article{arxiv.2010.09108,
title = {Bridging the gap between Markowitz planning and deep reinforcement learning},
author = {Eric Benhamou and David Saltiel and Sandrine Ungari and Abhishek Mukhopadhyay},
journal= {arXiv preprint arXiv:2010.09108},
year = {2020}
}
备注
10 pages, ICAPS PRL. arXiv admin note: substantial text overlap with arXiv:2009.14136, arXiv:2010.08497