基于 X-Agent 注意力的开放词汇语义分割新类别发现
计算机视觉与模式识别
2025-09-04 v2
摘要
开放词汇语义分割 (OVSS) 通过文本驱动的对齐进行像素级分类，其中基础类别训练与开放词汇推理之间的领域差异对潜在未见类别的判别性建模提出了挑战。为应对这一挑战，现有的基于视觉语言模型 (VLM) 的方法通过预训练多模态表示展现了令人瞩目的性能。然而，潜在语义理解的基本机制仍未得到充分探索，成为 OVSS 的瓶颈。在本研究中，我们开展了一项探测实验，以探索归纳学习范式下 VLM 中潜在语义的分布模式与动态。基于这些见解，我们提出了 X-Agent，这是一个采用潜在语义感知“代理”的创新 OVSS 框架，用于协调跨模态注意力机制，同时优化潜在语义动态并放大其可感知性。广泛的基准评估表明，X-Agent 实现了 SOTA 性能，同时有效增强了潜在语义的显著性。
引用
@article{arxiv.2509.01275,
title = {Novel Category Discovery with X-Agent Attention for Open-Vocabulary Semantic Segmentation},
author = {Jiahao Li and Yang Lu and Yachao Zhang and Fangyong Wang and Yuan Xie and Yanyun Qu},
journal= {arXiv preprint arXiv:2509.01275},
year = {2025}
}
备注
Accepted by ACMMM2025