掩码多查询槽注意力用于无监督目标发现

无监督目标发现正成为解决需将图像分解为实体的识别问题（如语义分割和目标检测）的关键研究方向。最近，利用自监督技术的目标导向方法因其简单性和对不同情景和条件的适应性而受到欢迎。然而，这些方法并未利用现代自监督方法中已采用的有效技术。在本工作中，我们采用一种以 DINO ViT 特征通过称为槽位（slots）的查询表示进行重构的目标导向方法。我们提出了一种对输入特征进行掩码处理的方案，通过选择性地忽略背景区域，使模型在重构阶段更关注显著目标。此外，我们将槽注意力扩展为多查询方法，允许模型学习多个槽位集合，生成更稳定的掩码。在训练期间，这些多个槽位集合是独立学习的，而在测试期间，这些集合通过匈牙利匹配合并，以获得最终的槽位。我们的在 PASCAL-VOC 2012 数据集上的实验结果和消融实验表明，每个组件的重要性，并突显了其组合持续改善目标定位的效果。我们的源代码可在 https://github.com/rishavpramanik/maskedmultiqueryslot 获取。