保留最小经验以实现高效可解释策略蒸馏
机器学习
2022-03-03 v1 人工智能
摘要
尽管深度强化学习已成为复杂控制任务的通用解决方案，但由于策略缺乏安全保障，其现实世界的适用性仍然受限。为解决这一问题，我们提出了基于最小经验保留的边界刻画（BCMER），这是一个端到端的可解释策略蒸馏（IPD）框架。与以往的IPD方法不同，BCMER能够区分经验的重要性，并保留一个极小但关键的经验池，几乎不损失策略相似性。具体而言，所提出的BCMER包含两个基本步骤。首先，我们提出了一种新颖的多维超球面相交（MHI）方法，将经验点划分为边界点和内部点，并保留关键的边界点。其次，我们开发了一个基于最近邻的模型，以根据边界点生成鲁棒且可解释的决策规则。大量实验表明，所提出的BCMER能够将经验量减少至1.4%~19.1%（当原始经验数量为10k时），并保持较高的IPD性能。总体而言，所提出的BCMER更适合经验存储受限的场景，因为它能发现关键经验并消除冗余经验。
引用
@article{arxiv.2203.00822,
title = {Keeping Minimal Experience to Achieve Efficient Interpretable Policy Distillation},
author = {Xiao Liu and Shuyang Liu and Wenbin Li and Shangdong Yang and Yang Gao},
journal= {arXiv preprint arXiv:2203.00822},
year = {2022}
}