基于部分与整体间循环游走的以对象为中心的表征学习

从复杂自然环境中学习以对象为中心的表征，使人类和机器都能从低级感知特征中获得推理能力。为捕捉场景的组合实体，我们提出了在视觉Transformer提取的感知特征与对象实体之间的循环游走。首先，槽注意力（slot-attention）模块与这些感知特征交互，产生有限组槽表征。这些槽可通过槽间注意力竞争绑定到场景中的任意对象实体。接着，我们基于感知特征（即“部分”）与槽绑定的对象表征（即“整体”）之间的两两相似性，沿高转移概率建立实体-特征对应关系。整体大于其部分，而部分构成整体。部分-整体交互形成循环一致性，作为监督信号来训练槽注意力模块。我们在 \textit{七} 个图像数据集上的 \textit{三} 个 \textit{无监督} 任务中进行的严格实验表明，用我们的循环游走训练的网络能够在复杂场景中分离前景与背景、发现对象并分割语义对象。相较于附带用于像素级或特征级重建解码器的以对象为中心模型，我们的循环游走提供强学习信号，避免计算开销并提升内存效率。我们的源代码与数据见：\href{https://github.com/ZhangLab-DeepNeuroCogLab/Parts-Whole-Object-Centric-Learning/}{link}。