基于槽的对象中心模型对其槽数量的敏感性

用于学习对象中心表示的自监督方法最近已成功应用于各种数据集。这一进展很大程度上由基于槽的方法推动，其将视觉场景聚类为有意义对象的能力为组合泛化和下游学习带来了巨大前景。在这些方法中，槽（簇）的数量 $K$ 通常被选为与数据中真实对象的数量相匹配，尽管该数量在真实世界设置中是未知的。事实上，基于槽的方法对 $K$ 的敏感性，以及这如何影响它们所学到的与数据中对象的对应关係，在很大程度上被文献所忽视。在这项工作中，我们通过对基于槽的方法进行系统研究来解决此问题。我们提出使用基于调整兰德指数（Adjusted Rand Index）的精确率和召回率类似物，以在大范围的 $K$ 上准确量化模型行为。我们发现，尤其在训练期间，不正确的 $K$ 选择不会产生所需的对象分解，实际上会导致对独立对象的严重过分割或合并（欠分割）。我们证明，目标函数的选择以及融入实例级标注可以适度缓解此行为，但仍不足以完全解决该问题。确实，我们展示了该问题在多种方法和数据集上持续存在，并强调其对未来基于槽的模型的重要性。