开放集世界中的贝叶斯语义实例分割

本文解决开放集条件下的语义实例分割任务，其中输入图像可包含已知和未知物体类别。现有语义实例分割方法的训练过程需要所有物体实例的标注掩码，这在某些真实场景中获取成本高昂甚至不可行，因为类别数量可能无限增长。在本文中，我们提出一种新颖的开放集语义实例分割方法，能够基于在已知物体类别上训练的物体检测器的输出，分割图像中所有已知和未知物体类别。我们使用贝叶斯框架表述该问题，其中后验分布通过配备高效图像划分采样器的模拟退火优化来近似。我们通过实验表明，我们的方法在已知类别上与最先进的监督方法具有竞争力，同时在未知类别上与无监督方法相比也表现良好。