面向自适应系统的可解释在线强化学习的用户研究
软件工程
2023-07-11 v1 人工智能
摘要
在线强化学习（RL）正日益被用于在设计时存在不确定性的情况下实现自适应系统。在线RL有助于从实际运行数据中学习，从而利用仅在运行时可用的反馈。然而，在线RL需要定义一个有效且正确的奖励函数，该函数量化对RL算法的反馈并由此引导学习。随着深度RL受到关注，所学知识不再显式表示，而是以神经网络的形式表示。对于人类而言，几乎不可能将神经网络的参数化与具体的RL决策联系起来。因此，深度RL本质上表现为黑箱，这严重限制了自适应系统的调试。我们此前引入了可解释RL技术XRL-DINE，其在重要时间点提供关于为何做出某些决策的视觉洞察。在此，我们开展了一项涉及54名来自学术界与工业界的软件工程师的实证用户研究，以评估（1）软件工程师在使用XRL-DINE执行不同任务时的表现，以及（2）XRL-DINE的感知有用性与易用性。
引用
@article{arxiv.2307.04098,
title = {A User Study on Explainable Online Reinforcement Learning for Adaptive Systems},
author = {Andreas Metzger and Jan Laufer and Felix Feit and Klaus Pohl},
journal= {arXiv preprint arXiv:2307.04098},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2210.05931