部署深度强化学习系统：挑战分类法
机器学习
2023-08-25 v1 人工智能
软件工程
摘要
深度强化学习（DRL）在强化学习中利用深度学习（DL），已在包括机器人、计算机视觉和计算机游戏在内的广泛领域中展现出实现人类水平自主性的显著潜力。这一潜力证明了学术界和工业界对 DRL 的热情与日益增长的兴趣是合理的。然而，社区目前主要关注 DRL 系统的开发阶段，很少关注 DRL 部署。在本文中，我们对开发者中最流行的问答论坛 Stack Overflow（SO）提出了一项实证研究，以揭示并理解从业者在部署 DRL 系统时面临的挑战。具体而言，我们按部署平台对相关 SO 帖子进行分类：服务器/云、移动/嵌入式系统、浏览器和游戏引擎。经过筛选和人工分析，我们考察了 357 篇关于 DRL 部署的 SO 帖子，调查了现状，并识别出与部署 DRL 系统相关的挑战。然后，我们调查了这些挑战的普遍程度和难度。结果表明，对 DRL 部署的总体兴趣正在增长，证实了本研究的相关性和重要性。结果还表明 DRL 部署比其他 DRL 问题更困难。此外，我们构建了向不同平台部署 DRL 的 31 个独特挑战的分类法。在所有平台上，与 RL 环境相关的挑战最为普遍，而与通信相关的挑战在从业者中最为困难。我们希望我们的研究能启发未来研究，并帮助社区克服从业者在部署 DRL 系统时面临的最常见和最困难的挑战。
引用
@article{arxiv.2308.12438,
title = {Deploying Deep Reinforcement Learning Systems: A Taxonomy of Challenges},
author = {Ahmed Haj Yahmed and Altaf Allah Abbassi and Amin Nikanjam and Heng Li and Foutse Khomh},
journal= {arXiv preprint arXiv:2308.12438},
year = {2023}
}
备注
Accepted for publication in The International Conference on Software Maintenance and Evolution (ICSME 2023)