金融领域的鲁棒强化学习：基于椭圆不确定性集建模市场冲击
机器学习
2026-01-27 v3 人工智能
最优化与控制
摘要
在金融应用中，强化学习（RL）代理通常在历史数据上进行训练，其行为不会影响价格。然而，在部署阶段，这些代理在活跃市场中交易，其自身交易可改变资产价格，称为市场冲击。这种训练与部署环境之间的差异可能显著降低性能。传统鲁棒强化学习方法通过在不确定性集上优化最差性能来解决此类模型误指定型，但通常依赖对称结构，无法捕捉市场冲击的方向性特征。为此，我们发展了一类椭圆不确定性集。我们建立了最差不确定性的隐式和显式闭式解，实现了高效且可计算的鲁棒策略评估。在单资产和多资产交易任务实验中，我们的方法在夏普比率方面取得优异性能，并在交易量增加时保持鲁棒性，为金融市场中的强化学习提供了更可靠且可扩展的方法。
引用
@article{arxiv.2510.19950,
title = {Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets},
author = {Shaocong Ma and Heng Huang},
journal= {arXiv preprint arXiv:2510.19950},
year = {2026}
}