因子化后悔机制在潜在空间中调节组成性泛化

一旦所有相关变量都已知，还是否存在泛化的障碍？我们通过一个将组成性泛化表述为潜在变量上变分推断问题的框架来回答此问题。为探索此框架，我们开发了认知网格世界 (Cognitive Gridworld)，这是一个固定的部分可观测马尔可夫决策过程 (POMDP)，其中观察由多个潜在变量共同生成，但仅为单个目标变量提供反馈。此设置允许我们描述因子化后悔 (Factorization Regret)：一种衡量潜在变量相互作用对任务性能贡献的信息论量。通过此指标，我们首先分析显式接收相互作用的循环神经网络 (RNN)，发现因子化后悔解释了 Echo State 网络与 Fully Trained 网络之间的准确度差距。此外，我们的分析发现了一个理论上预测的失效模式，即置信度与准确度脱钩。这些结果表明，利用相关变量之间的相互作用是一种非平凡能力。随后，我们解决了一个更具挑战性的情境，即相互作用本身必须由嵌入模型学习。如何学习变量如何相互作用，同时学习如何推断其值，是一个变分推断问题。我们通过表示分类链 (Representation Classification Chains, RCCs) 采用一种新型架构来解决这一困境，该架构解耦了变量推断与参数估计。我们展示了，通过学习变量如何相互作用，RCCs 能促进对新变量组合的组成性泛化以及在新动作空间中的离线学习。这些结果共同确立了一个为研究、开发和评估目标导向通用智能体提供的理论依据的框架。