通过软张量积实现全分布式、灵活的组合视觉表征

自古典主义者与连接主义者论战以来，人们一直认为能够系统性地将类符号实体组合成组合表征的能力对于人类智慧至关重要。在连接主义系统中，解�odisentanglement 领域因其能够产生显式组合表征的能力而受到关注；然是，这依赖于一种根本上具有符号学意义的、串联式的组合结构表示，这与深度学习的连续、分布性基础相冲突。为解决这一张力，我们扩展了 Smolensky 的张量积表征 (TPR)，并引入 Soft TPR，一种以内在分布式、灵活的方式对组合结构进行编码的表征形式，以及 Soft TPR 自动编码器，一种为学习 Soft TPR 而专门设计的、理论上严谨的架构。综合的在视觉表征学习领域的评估表明，Soft TPR 框架持续地优于传统的解�odisentanglement 备选方案——实现了 SOTA 解�odisentanglement，提高了表示学习者的收敛速度，并在下游任务中实现卓越的样本效率和低样本情景下的性能。这些发现凸显了分布式和灵活的方法来表示组合结构的前景，potentially 通过超越传统符号方法的核心原理来增强深度学习的对齐。