高质量实体分割

密集图像分割任务（例如语义分割、全景分割）对图像编辑很有用，但现有方法在 unrestricted（无限制）的野外环境中很难泛化良好，该环境中存在无限制的图像域、类别以及图像分辨率和质量变化。受这些观察的启发，我们构建了一个新的实体分割数据集，强烈关注野外的高质量密集分割。该数据集包含跨越不同图像域和实体的图像，以及大量高分辨率图像和高质量的掩码标注用于训练和测试。鉴于数据集的高质量和分辨率特性，我们提出了 CropFormer，旨在解决高分辨率图像上实例级分割的难处理性。它通过融合提供 finer-grained（更细粒度）图像细节的高分辨率图像裁剪块和完整图像来改进掩码预测。CropFormer 是首个基于查询的 Transformer 架构，能够通过学习在完整图像及其裁剪块之间有效关联相同实体的查询，来有效融合来自多个图像视图的掩码预测。借助 CropFormer，我们在具有挑战性的实体分割任务上取得了 $1.9$ 的显著 AP 提升。此外，CropFormer 持续提高了传统分割任务和数据集的准确性。数据集和代码将在 http://luqi.info/entityv2.github.io/ 发布。