自适应插槽注意力:基于动态插槽数的目标发现
计算机视觉与模式识别
2024-06-14 v1 机器学习
摘要
目标导向学习(Object-centric Learning, OCL)通过插槽提取物体表示,展现出极佳的灵活性和可解释性,能够抽象化底层感知特征。OCL 中广泛采用的方法是插槽注意力机制,它利用注意力机制迭代细化插槽表示。然而,大多数目标导向模型,包括插槽注意力,都存在预定义插槽数量的局限性。这不仅需要数据集的先验知识,还忽略了每个实例中物体数量的内在变异性。为克服这一根本性限制,我们提出了一种新颖的基于复杂度感知的目标自编码框架。在该框架中,我们引入了自适应插槽注意力(AdaSlot)机制,根据数据内容动态确定最优插槽数量。通过提出离散插槽采样模块来负责从候选列表中选择合适的插槽数量。此外,我们引入了掩码插槽解码器,在解码过程中抑制未被选择的插槽。我们对该框架在多种数据集上的目标发现任务进行了广泛测试,表现与顶级固定插槽模型相当或更优。此外,我们的分析证实了该方法能够根据每个实例的复杂度动态调整插槽数量,为进一步的插槽注意力研究提供了潜在探索方向。项目将在 https://kfan21.github.io/AdaSlot/ 开放获取。
引用
@article{arxiv.2406.09196,
title = {Adaptive Slot Attention: Object Discovery with Dynamic Slot Number},
author = {Ke Fan and Zechen Bai and Tianjun Xiao and Tong He and Max Horn and Yanwei Fu and Francesco Locatello and Zheng Zhang},
journal= {arXiv preprint arXiv:2406.09196},
year = {2024}
}
备注
CVPR 2024