利用基于部件表示的可解释深度强化学习
机器学习
2024-08-23 v2 人工智能
摘要
利用深度学习模型学习基于部件表示具有显著潜力，可实现设计即可解释的模型，因为这些模型通过简单加法整合来自特征表示的潜在原因。然而，训练基于部件的学习模型面临挑战，特别是在对模型参数施加非负约束时，可能导致训练困难，如不稳定性和收敛问题。此外，在深度强化学习 (RL) 中应用此类方法更具挑战性，因为许多优化方法固有的不稳定性。在本文中，我们提出了一种针对 RL 中演员模型的非负训练方法，能够在满足非负约束的同时提取增强可解释性的基于部件表示。为此，我们采用非负初始化技术以及改进的符号保持训练方法，与现有方法相比可确保更好的梯度流动。我们在著名的 Cartpole 基准测试上展示了所提方法的有效性。
引用
@article{arxiv.2408.11455,
title = {Using Part-based Representations for Explainable Deep Reinforcement Learning},
author = {Manos Kirtas and Konstantinos Tsampazis and Loukia Avramelou and Nikolaos Passalis and Anastasios Tefas},
journal= {arXiv preprint arXiv:2408.11455},
year = {2024}
}