用于学习恒等关系的权重先验

学习抽象且系统的关系在神经网络学习中三十多年来一直是一个开放问题。最近研究表明，神经网络不基于恒等学习关系，且无法很好地泛化到未见过的数据。基于关系模式（RBP）方法已被提出作为该问题的解决方案。在本工作中，我们通过将 RBP 实现为网络权重上的贝叶斯先验来建模恒等关系，从而扩展 RBP。该权重先验在否则标准的网络学习中导致一个修正的正则化项。在我们的实验中，我们表明贝叶斯权重先验在学习基于恒等的关系时带来完美的泛化，且不妨碍一般的神经网络学习。我们相信，用权重先验创建归纳偏置的方法可轻易扩展到其他形式的关系，并将有益于许多其他学习任务。