深度强化学习应用开发的共性挑战：一项实证研究
软件工程
2024-05-21 v3
摘要
机器学习（ML）正日益被不同行业采用。深度强化学习（DRL）是 ML 的一个子领域，用于生成智能体。尽管 DRL 技术近期有所发展，开发人员在 DRL 应用开发中面临的主要挑战仍属未知。为填补此空白，本文对从软件社区最流行的问答平台 Stack Overflow 提取的 927 篇 DRL 相关帖子进行大规模实证研究。通过标注与分类所提取帖子，我们构建了 DRL 应用开发常见挑战的分类体系及其相应流行度层级。该分类体系已通过涉及 65 名 DRL 开发者的调查得到验证。结果显示，至少 45% 的开发者经历了分类体系中 21 项挑战里的 18 项。DRL 应用开发中最频繁的困难来源是理解、API 使用和设计问题，而并行处理以及 DRL 库/框架被归类为最难解决的挑战（就获得采纳答案所需时间而言）。我们希望研究界能利用该分类体系制定高效策略以应对所识别挑战并提升 DRL 应用质量。
引用
@article{arxiv.2310.09575,
title = {Common Challenges of Deep Reinforcement Learning Applications Development: An Empirical Study},
author = {Mohammad Mehdi Morovati and Florian Tambon and Mina Taraghi and Amin Nikanjam and Foutse Khomh},
journal= {arXiv preprint arXiv:2310.09575},
year = {2024}
}
备注
Submitted to Empirical Software Engineering journal