神经产生式系统：学习规则支配的视觉动态

视觉环境是有结构的，由不同对象或实体组成。这些实体具有属性——既有可见的也有潜在的——决定了它们彼此交互的方式。为将图像划分为实体，深度学习研究者提出了诸如基于槽的架构等结构性归纳偏置。为建模实体间交互，使用了等变图神经网络（GNNs），但这对任务不太适合，原因有二。首先，GNNs 不倾向于使交互稀疏，而独立实体间关系可能如此。其次，GNNs 不以实体条件方式分解关于交互的知识。作为替代，我们从认知科学获得灵感并复兴经典方法——产生式系统，其由一组规则模板组成，通过绑定规则中的占位符变量到特定实体来应用。规则根据与实体的匹配打分，最佳拟合规则被用于更新实体属性。在一系列实验中，我们证明该架构实现了灵活的动态控制流，并服务于分解实体特定和基于规则的信息。这种知识解耦在丰富视觉环境中实现了鲁棒的未来状态预测，优于使用 GNNs 的最先进方法，并允许从简单（少对象）环境到更复杂环境的泛化。