结合后见经验重放的预期分类器系统初步测试
机器学习
2026-01-15 v1
摘要
本文介绍了 ACS2HER，一种将预期分类器系统（ACS2）与后见经验重放（HER）机制相结合的新型集成方法。虽然 ACS2 在通过潜在学习构建认知地图方面非常有效，但其在稀疏奖励环境中的表现往往会停滞不前。我们提出了一种特定的架构变体，当智能体未能达到其主要目标时会触发后见学习，将访问过的状态重新标记为虚拟目标以密集化学习信号。所提出的模型在两个基准上进行了评估：确定性的 \texttt{Maze 6} 和随机性的 \texttt{FrozenLake}。结果表明，与标准 ACS2 相比，ACS2HER 显著加速了知识获取和环境掌握。然而，这种效率的提升伴随着计算开销的增加以及分类器数量的显著膨胀。这项工作首次分析了在学习分类器系统中将预期机制与回顾性目标重标记相结合的方法。
引用
@article{arxiv.2601.09400,
title = {Preliminary Tests of the Anticipatory Classifier System with Hindsight Experience Replay},
author = {Olgierd Unold and Stanisław Franczyk},
journal= {arXiv preprint arXiv:2601.09400},
year = {2026}
}