一维与二维环境中后继特征与前驱特征算法的噪声鲁棒性探究

基于动物空间学习的预测地图理论，本研究深入探究了噪声环境中后继特征(SF)与前驱特征(PF)算法的动力学。以Q-learning和Q(λ)学习作为基准进行比较分析，我们的调查得出了意外结果。与普遍预期及PF表现更优的既往文献相反，我们的发现表明在噪声环境中PF并未超越SF。在一维网格世界中，SF展现出更强的适应性，在不同噪声水平下保持稳健性能。所有被考察算法性能随噪声增大而下降的趋势一致，呈现出线性退化模式。情形在二维网格世界中发生转变，噪声对算法性能的影响呈非线性关系，并受资格迹的λ参数影响。这一复杂性表明噪声与算法效能的交互依赖于环境维度与特定算法参数。此外，本研究有助于计算神经科学与强化学习(RL)之间的桥梁对话，探索SF与PF学习在空间导航中的神经生物学类比。尽管存在未预见的表现趋势，这些发现丰富了我们对RL算法固有优劣的理解。该知识对于推进机器人、游戏AI与自动驾驶导航中的应用至关重要，并凸显了持续探索RL算法如何处理并从噪声输入中学习的必要性。