基于逻辑状态抽象对 AIXI 的直接逼近
人工智能
2022-10-14 v1 机器学习
摘要
我们提出将逻辑状态抽象与 AIXI（一种针对强化学习智能体的贝叶斯最优性概念）进行实用集成，以大幅扩展可逼近 AIXI 智能体的模型类，使其涵盖复杂历史依赖与结构化环境。状态表示与推理框架基于高阶逻辑，可用于在非马尔可夫与结构化环境上定义并枚举复杂特征。我们通过改编状态抽象理论中的 -MDP 优化准则，解决了选取正确特征子集以构成状态抽象的问题。随后，利用上下文树加权在抽象状态序列上的适当推广，实现精确的贝叶斯模型学习。所得架构可与不同规划算法集成。在大规模接触网络上控制疫情的实验结果验证了该智能体的性能。
引用
@article{arxiv.2210.06917,
title = {A Direct Approximation of AIXI Using Logical State Abstractions},
author = {Samuel Yang-Zhao and Tianyu Wang and Kee Siong Ng},
journal= {arXiv preprint arXiv:2210.06917},
year = {2022}
}