CrystalBox：面向输入驱动深度强化学习系统的基于未来回报的解释框架
机器学习
2024-03-28 v4 网络与互联网体系结构
系统与控制
系统与控制
摘要
我们提出 CrystalBox，一个新颖的、模型无关的、事后的可解释性框架，用于包含计算机系统在内的广大输入驱动环境中的深度强化学习（DRL）控制器。我们将输入驱动环境中奖励函数的自然可分解性与分解回报的解释能力相结合。我们提出一种高效算法，在离散与连续控制环境中生成基于未来回报的解释。借助自适应码率流与拥塞控制等应用，我们展示了 CrystalBox 生成高保真解释的能力。我们进一步说明了其在三个实际用例——对比解释、网络可观测性与引导式奖励设计——中相较以往识别显著特征的可解释性技术具有更高效用。
引用
@article{arxiv.2302.13483,
title = {CrystalBox: Future-Based Explanations for Input-Driven Deep RL Systems},
author = {Sagar Patel and Sangeetha Abdu Jyothi and Nina Narodytska},
journal= {arXiv preprint arXiv:2302.13483},
year = {2024}
}