基于条件潜在扩散模型的零样本实例分割

本文提出了 OC-DiT，一种 novel 的条件潜在扩散模型，专为对象中心化预测设计，并应用于零样本实例分割。我们提出了一种条件潜在扩散框架，通过在扩散模型的潜在空间中对对象模板和图像特征进行条件化，来生成实例掩码。这使我们的模型能够通过扩散过程有效地分离对象实例，扩散过程由视觉对象描述符和局部图像线索引导。具体而言，我们引入了两个模型变体：一个粗糙模型用于生成初始对象实例提案，以及一个精炼模型能够并行细化所有提案。我们在一个由数千个高质量对象网格组成的全新大规模合成数据集上训练这些模型。令人惊讶的是，我们的模型在多个具有挑战性的真实世界基准测试上实现了零样本性能，且无需在目标数据上进行重新训练。通过全面的消融研究，我们展示了扩散模型在实例分割任务中潜力的潜力。