PSALM：基于大型多模态模型的逐像素分割
计算机视觉与模式识别
2024-03-22 v1
摘要
PSALM是大型多模态模型（LMM）的强大扩展，旨在解决分割任务的挑战。为了克服LMM仅限于文本输出的局限性，PSALM引入了掩码解码器和精心设计的输入模式来处理各种分割任务。该模式包括图像、任务指令、条件提示和掩码令牌，使模型能够有效地生成和分类分割掩码。PSALM的灵活设计支持跨多个数据集和任务的联合训练，从而提升了性能和任务泛化能力。PSALM在RefCOCO/RefCOCO+/RefCOCOg、COCO全景分割和COCO-Interactive等多个基准测试中取得了优异结果，并在开放词汇分割、广义指代表达分割和视频目标分割等未见任务上进一步展示了零样本能力，向计算机视觉领域的GPT时刻迈出了重要一步。通过大量实验，PSALM展示了其变革图像分割领域的潜力，利用了LMM在自然语言处理中所展现的强大视觉理解能力。代码和模型可在https://github.com/zamling/PSALM获取。
引用
@article{arxiv.2403.14598,
title = {PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model},
author = {Zheng Zhang and Yeyao Ma and Enming Zhang and Xiang Bai},
journal= {arXiv preprint arXiv:2403.14598},
year = {2024}
}