利用可解释性技术实现强化学习模型保障
机器学习
2023-11-28 v1 人工智能
摘要
可解释强化学习（XRL）能够提供深度强化学习（DRL）模型决策过程的透明度，并提升真实场景用例中的用户信任与采用率。通过利用 XRL 技术，研究人员可在部署前识别训练好的 DRL 模型中的潜在漏洞，从而限制系统发生任务失败或错误的可能性。本文介绍了 ARLIN（Assured RL Model Interrogation）工具包，这是一个开源 Python 库，通过详尽且人类可解释的可解释性输出，识别训练好的 DRL 模型中的潜在漏洞与关键点。为说明 ARLIN 的有效性，我们针对一个公开可用的 DRL 模型提供了可解释性可视化与漏洞分析。该开源代码仓库可在 https://github.com/mitre/arlin 下载。
引用
@article{arxiv.2311.15838,
title = {Utilizing Explainability Techniques for Reinforcement Learning Model Assurance},
author = {Alexander Tapley and Kyle Gatesman and Luis Robaina and Brett Bissey and Joseph Weissman},
journal= {arXiv preprint arXiv:2311.15838},
year = {2023}
}
备注
9 pages, 8 figures including appendices (A, B, C). Accepted as a poster presentation in the demo track at the "XAI in Action: Past, Present, and Future Applications" workshop at NeurIPS 2023. MITRE Public Release Case Number 23-3095