深度强化学习智能体的可解释事后投资组合管理金融策略
计算工程、金融与科学
2024-07-22 v1 人工智能
投资组合管理
摘要
通过现代投资组合理论技术（如马科维茨模型）定量计算出的金融投资组合管理投资策略，依赖于一组在高波动市场中缺乏数据支持的假设。因此，定量研究人员正在寻找替代模型来解决此问题。具体而言，投资组合管理是近期通过深度强化学习（Deep Reinforcement Learning, DRL）方法成功解决的一个问题。特别地，DRL算法通过在模拟器中给定任何金融状态，估计智能体执行的每个动作的预期奖励分布来训练智能体。然而，这些方法依赖深度神经网络模型来表示这种分布，尽管它们是通用逼近器模型，但无法解释其行为，因为其参数集不可解释。关键的是，金融投资者的策略要求预测具有可解释性，因此 DRL 智能体不适合遵循特定策略或解释其行为。在这项工作中，我们为投资组合管理开发了一种新颖的可解释深度强化学习（Explainable Deep Reinforcement Learning, XDRL）方法，将近端策略优化（Proximal Policy Optimization, PPO）与特征重要性、SHAP 和 LIME 等模型无关的可解释技术相结合，以增强预测时的透明度。通过执行我们的方法，我们可以在预测时解释智能体的行为，以评估其是否遵循投资策略的要求，或评估遵循智能体建议的风险。据我们所知，我们提出的方法是首个针对 DRL 智能体的事后可解释投资组合管理金融策略。我们通过成功识别影响投资决策的关键特征，实证说明了我们的方法，证明了在预测时解释智能体行为的能力。
引用
@article{arxiv.2407.14486,
title = {Explainable Post hoc Portfolio Management Financial Policy of a Deep Reinforcement Learning agent},
author = {Alejandra de la Rica Escudero and Eduardo C. Garrido-Merchan and Maria Coronado-Vaca},
journal= {arXiv preprint arXiv:2407.14486},
year = {2024}
}