面向增强式模块化强化学习的异质知识
机器学习
2024-11-01 v3 人工智能
摘要
现有的模块化强化学习（RL）架构通常基于可复用组件，也允许“即插即用”式集成。然而，这些模块本质上是同质的——实际上，它们本质上提供通过最大化个体奖励函数经 RL 获得的策略。因此，此类方案仍缺乏整合和处理多种类型信息（即异质知识表示）的能力，例如来自不同来源的规则、子目标和技能。在本文中，我们讨论异质知识的若干实际例子，并提出增强式模块化强化学习（AMRL）以解决这些局限。我们的框架使用选择器来组合异质模块，并无缝融入不同类型的知识表示与处理机制。我们的结果展示了通过用异质知识源和处理机制增强传统模块化 RL 所能实现的性能和效率提升，也包括泛化方面的提升。最后，我们考察由引入知识异质性所引发的安全性、鲁棒性和可解释性问题。
引用
@article{arxiv.2306.01158,
title = {Heterogeneous Knowledge for Augmented Modular Reinforcement Learning},
author = {Lorenz Wolf and Mirco Musolesi},
journal= {arXiv preprint arXiv:2306.01158},
year = {2024}
}
备注
23 pages, 11 figures