基于多目标贝叶斯优化的深度强化学习在环境、社会和治理(ESG)金融投资组合管理中的应用
投资组合管理
2025-12-23 v1
摘要
DRL代理通过避免经典模型中的假设（例如金融收益服从正态分布）来克服问题，能够处理任何信息（例如ESG评分），只要其配置的奖励使目标更好。然而，DRL代理的性能高度可变且对其超参数值极其敏感。贝叶斯优化是一类适合优化黑箱函数的方法，这些函数的解析表达式未知、噪声大且评估成本高昂。DRL算法的超参数调优问题恰好符合这一场景。由于仅为一个目标训练一个代理是一个非常昂贵的过程，需要数百万个时间步，因此我们选择将目标分离为风险-收益指标与ESG指标的混合，而非单一优化目标，从而求解多目标场景以获得代表最佳投资组合在收益率和ESG平均得分之间最佳权衡的Pareto最优集，并留给投资者选择最终的投资组合。我们使用OpenAI Gym中的环境进行实验，改编自FinRL平台。在道琼斯指数(DJIA)和纳斯达克市场上，以代理实现的收益率和投资组合的平均ESG得分为评估指标。我们在超体积术语下比较所得Pareto集的性能，说明这些投资组合在收益率和平均ESG得分之间实现了最佳权衡。我们还通过将获得的超体积与在DRL超参数空间上实现的随机搜索方法的超体积进行比较，展示了我们方法的有用性。
引用
@article{arxiv.2512.14992,
title = {Multi-Objective Bayesian Optimization of Deep Reinforcement Learning for Environmental, Social, and Governance (ESG) Financial Portfolio Management},
author = {M. Coronado-Vaca},
journal= {arXiv preprint arXiv:2512.14992},
year = {2025}
}
备注
arXiv admin comment: This version has been removed by arXiv administrators as the submitter did not have the rights to agree to the license at the time of submission