CPSeg：基于思维链语言提示的更细粒度图像语义分割
计算机视觉与模式识别
2023-10-30 v2
摘要
自然场景分析与遥感影像为大规模语言引导的上下文感知数据利用的进展提供了巨大潜力。这一潜力对于通过设计的语言提示提升目标检测与分割等下游任务性能尤为显著。有鉴于此，我们引入 CPSeg（用于更细粒度语义分割的思维链语言提示），一种通过集成利用图像相关文本信息的新型“思维链”过程来增强图像分割性能的创新框架。这一开创性方法已应用于洪涝灾害场景。CPSeg 对源自多个句子的提示文本进行编码以构建连贯的思维链。我们提出一个新的视觉-语言数据集 FloodPrompt，其包含图像、语义掩码及相应文本信息。这不仅强化了场景的语义理解，也通过像素与文本匹配图的相互作用助力语义分割这一关键任务。我们的定性与定量分析验证了 CPSeg 的有效性。
引用
@article{arxiv.2310.16069,
title = {CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting},
author = {Lei Li},
journal= {arXiv preprint arXiv:2310.16069},
year = {2023}
}
备注
WACV 2024