LaSagnA：面向复杂查询的基于语言的分割助手
计算机视觉与模式识别
2024-04-15 v1
摘要
近期的进展使得视觉大语言模型能够生成详细的感知结果，包括边界框和掩码。尽管如此，有两个限制制约了这些视觉大语言模型的进一步应用：无法在单次查询中处理多个目标，以及无法识别图像中查询对象的缺失。在本研究中，我们认识到这些问题的主要原因是训练查询的复杂性不足。因此，我们定义了复杂查询的一般序列格式。然后，我们在当前流程中引入语义分割任务，以满足训练数据的需求。此外，我们提出了三种新颖的策略，以有效应对直接整合所提格式带来的挑战。通过在闭集和开集语义分割数据集上与传统方法取得相当的结果，验证了我们的模型在处理复杂查询方面的有效性。此外，我们在推理分割和指代分割中超越了一系列视觉大语言模型，展示了我们模型的卓越能力。我们在 https://github.com/congvvc/LaSagnA 发布了代码。
引用
@article{arxiv.2404.08506,
title = {LaSagnA: Language-based Segmentation Assistant for Complex Queries},
author = {Cong Wei and Haoxian Tan and Yujie Zhong and Yujiu Yang and Lin Ma},
journal= {arXiv preprint arXiv:2404.08506},
year = {2024}
}