基于深度强化学习的交易智能体的灰盒对抗攻击
机器学习
2023-09-27 v1 计算工程、金融与科学
交易与市场微观结构
摘要
近年来，深度强化学习（Deep RL）已作为智能体成功应用于许多系统中，如复杂游戏、自动驾驶汽车和聊天机器人。Deep RL 一个有趣的应用用例是作为自动化股票交易智能体。一般而言，任何自动化交易智能体都容易受到交易环境中对手的操纵。因此，研究其鲁棒性对其在实际中的成功至关重要。然而，研究 RL 鲁棒性的典型机制基于白盒基于梯度的对抗样本生成技术（如 FGSM），对于该用例已过时，因为模型受保护于如 NASDAQ 等安全国际交易所 API 之后。在本研究中，我们证明通过在同一股票市场中进行交易、无需额外访问交易智能体，即可对基于 Deep RL 的交易智能体实施“灰盒”攻击。在我们提出的方法中，对抗智能体使用由卷积层和全连接层组成的混合深度神经网络作为其策略。在三种模拟交易市场配置下平均而言，本研究提出的对抗策略能够将奖励值降低 214.17%，从而导致基线的潜在利润降低 139.4%、集成方法降低 93.7%、以及我们工业合作伙伴开发的自动化交易软件降低 85.5%，同时消耗远少于受害者的预算（分别为 427.77%、187.16% 和 66.97%）。
引用
@article{arxiv.2309.14615,
title = {Gray-box Adversarial Attack of Deep Reinforcement Learning-based Trading Agents},
author = {Foozhan Ataiefard and Hadi Hemmati},
journal= {arXiv preprint arXiv:2309.14615},
year = {2023}
}