面向稳健迁移的层次化后继表示

后继表示（successor representation，SR）提供了一种强大的框架，用于将预测动力学与奖励解耦，实现跨奖励配置的快速泛化。然而，经典SR受限于其固有的策略依赖性：由于持续的学习、环境的非平稳性以及任务需求的变化，策略会发生变化，导致既定的预测表示变得过时。此外，在拓扑复杂的环境中，SR会受到谱扩散（spectral diffusion）的影响，导致特征稠密且重叠，规模效应不佳。为克服这些限制，我们提出了层次化后继表示（hierarchical successor representation，HSR）。通过纳入预测表示构建中的时间抽象，HSR学习稳定的状态特征，能够抵抗由任务引起的策略变化。将非负矩阵分解（non-negative matrix factorization，NMF）应用于HSR，可获得稀疏、低秩的状态表示，促进在多 compartment 环境中对新任务实现高度样本高效的迁移。进一步分析表明，HSR-NMF发现可解释的拓扑结构，提供一种无政策依赖的层次化地图，有效桥接模型无策略最优性与模型有策略灵活性。除提供任务迁移的有用基底外，我们还展示HSR的时程扩展预测结构可用于驱动高效探索，有效扩展到大规模程序生成环境。