混合查询Transformer：一种统一的图像分割架构
计算机视觉与模式识别
2024-04-09 v1
摘要
现有的统一图像分割模型要么在多个任务上采用统一架构但使用针对每个数据集定制的单独权重，要么对多个数据集应用单一权重集但仅限于单个任务。在本文中，我们介绍了混合查询Transformer（MQ-Former），一种使用单一权重集进行多任务和多数据集图像分割的统一架构。为了实现这一点，我们提出了一种混合查询策略，该策略可以有效地动态适应不同类型的对象，无需启发式设计。此外，统一架构允许我们使用带有合成掩码和标题的数据增强来进一步提高模型泛化能力。实验表明，MQ-Former不仅能够有效处理多个分割数据集和任务，与专门的最先进模型相比具有竞争性能，而且能更好地泛化到开放集分割任务，在开放词汇SeginW基准上比先前技术高出超过7个点。
引用
@article{arxiv.2404.04469,
title = {Mixed-Query Transformer: A Unified Image Segmentation Architecture},
author = {Pei Wang and Zhaowei Cai and Hao Yang and Ashwin Swaminathan and R. Manmatha and Stefano Soatto},
journal= {arXiv preprint arXiv:2404.04469},
year = {2024}
}