基于结构信息原理的有效探索
机器学习
2024-10-10 v1 人工智能
摘要
传统信息论为强化学习提供了重要基础，尤其在表示学习和熵最大化方面用于智能体探索。然而，现有方法主要关注建模强化学习随机变量的不确定性，忽略了状态和动作空间内在结构。本文提出了一种基于结构信息原理的有效探索框架，称为 SI2E。定义了用于解决单变量结构信息局限性的结构互信息，并提出一种创新的嵌入原则来捕获与动态相关的状态-动作表征。通过分析智能体策略在状态-动作对之间的价值差异，并最小化结构熵来推导出层次化状态-动作结构，即编码树。在该树结构下，定义价值条件结构熵并进行最大化，以设计内在奖励机制，避免冗余转移，促进状态-动作空间的增强覆盖。在理论上建立了 SI2E 与经典信息论方法之间的联系，突显该框架的合理性与优势。广泛的在 MiniGrid、MetaWorld 和 DeepMind Control Suite 基准测试中进行了全面评估，表明 SI2E 在最终性能和样本效率方面显著优于最先进的探索基线，分别实现了最高提升 37.63% 和 60.25%。
引用
@article{arxiv.2410.06621,
title = {Effective Exploration Based on the Structural Information Principles},
author = {Xianghua Zeng and Hao Peng and Angsheng Li},
journal= {arXiv preprint arXiv:2410.06621},
year = {2024}
}
备注
10 pages in main paper and 15 pages in appendix