深度强化学习神经网络中的透明性与解释
机器学习
2018-09-18 v1 机器学习
摘要
自主 AI 系统将在不久的将来进入人类社会，以提供服务和与人类协同工作。为使这些系统被接受并可信，用户应能够理解系统的推理过程，即系统应是透明的。系统透明性使人类能够对系统的决策与行动形成连贯的解释。透明性不仅对用户信任重要，对软件调试与认证亦如此。近年来，深度神经网络在多个应用领域取得重大进展。然而，深度神经网络是不透明的。本文报告了关于深度强化学习网络 (DRLN) 透明性的工作。此类网络在图像输入域（如 Atari 游戏）中的动作控制精确学习方面极为成功。本文提出一种新颖且通用的方法，其 (a) 将显式目标识别处理融入深度强化学习模型，(b) 构成开发“目标显著图”的基础，以可视化 DRLN 的内部状态，从而支持解释的形成，且 (c) 可融入任何现有深度强化学习框架。我们给出计算结果与人体实验以评估该方法。
引用
@article{arxiv.1809.06061,
title = {Transparency and Explanation in Deep Reinforcement Learning Neural Networks},
author = {Rahul Iyer and Yuezhang Li and Huao Li and Michael Lewis and Ramitha Sundar and Katia Sycara},
journal= {arXiv preprint arXiv:1809.06061},
year = {2018}
}
备注
8 pages, 5 figures, Accepted at AAAI/ACM Conference on AI, Ethics, and Society 2018