稀疏目标条件RL中目标失败的预测与解释的函数图
机器学习
2026-05-12 v1
摘要
稀疏目标条件强化学习会产生策略，其失败被整体成功率所掩盖。我们通过分析训练好的目标条件价值策略所诱导的确定性函数图：对于每个目标，每个状态映射到单个后继状态，将行为分解为吸引子和流域。这揭示了学习策略中的局部到全局结构。我们定义局部目标支持（LGS），作为一种一阶统计量，衡量有效相邻状态中，其贪心后继为目标的比例。在确定性稀疏GridWorld中，零LGS恰好预clude了从非目标起点进入目标。经验上，弱LGS是跨更新规则、课程、更大网格和瓶颈几何学中目标水平失败的强诊断工具：固定规则LGS <= 0.5 在主8x8 TD 设置下，精确率为0.921，召回率为0.929，F1分为0.925，其他变体表现相似。然而，局部支持并不足以保证全局成功：一些受支持的目标仍然会失败，因为远处状态被竞争性吸引子或碎片化流域结构所捕获。我们因此引入一种紧凑的后验分类法，将策略诱导的图分为目标主导、竞争者主导、部分/争议和碎片化四类，以刻画局部支持之外的残余失败模式。这些结果表明，稀疏GCRL的失败可理解为结构化的策略诱导动态，且局部一阶策略结构提供了一种针对目标水平失败的廉价后训练诊断工具。
引用
@article{arxiv.2605.09335,
title = {Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL},
author = {Shalley Dash},
journal= {arXiv preprint arXiv:2605.09335},
year = {2026}
}
备注
9 pages main, 21 pages appendx, 2 figures in main. 8 figures in appendix, Submitted to a conference