为何相似性匹配目标会导出 Hebbian/anti-Hebbian 网络？

使用 Hebbian 和 anti-Hebbian 可塑性对无监督学习的神经网络自组织进行建模在神经科学中有着悠久的历史。然而，直到最近随着相似性匹配目标的引入，才使得从原则性优化目标推导具有此类局部学习规则的单层网络成为可能。是什么解释了相似性匹配目标在推导具有局部学习规则的神经网络方面的成功？在这里，以降维为例，我们引入了几种变量替换，以阐明相似性匹配的成功之处。我们表明，无论在离线还是在线设置中，都可以使用局部学习规则分别对每个突触优化完整的网络目标。我们通过提出一个 min-max 优化问题，形式化了 Hebbian 和 anti-Hebbian 规则之间竞争的长期直觉。我们引入了一种使用分数矩阵指数的新型降维目标。为了说明我们方法的普适性，我们将其应用于降维与白化结合的新颖表述。我们在数值上证实，从原则性目标导出的具有学习规则的网络比具有启发式学习规则的网络表现更好。