ResAgent：基于熵的先验点发现与视觉推理用于指代表达分割
计算机视觉与模式识别
2026-01-26 v1 人工智能
摘要
指代表达分割(RES)是一种核心视觉语言分割任务，通过自由形式的语言表达式实现对目标的像素级理解，支持人机交互和增强现实等关键应用。尽管多模态大型语言模型(MLLM)方法取得了进展，但现有 RES 方法仍存在两个关键局限性：首先，MLLM 提供的粗糙边界框导致冗余或非判别性点提示；其次，依赖文本坐标推理的做法不可靠，因其无法区分目标与视觉上相似的干扰项。为此，我们提出了 \textbf{\model}，一种新的 RES 框架，集成了 \textbf{E}ntropy-\textbf{B}ased Point \textbf{D}iscovery (\textbf{EBD}) 和 \textbf{V}ision-\textbf{B}ased \textbf{R}easoning (\textbf{VBR})。具体而言，EBD 通过建模粗糙边界框内的空间不确定性，识别出高信息量的候选点，将点选择建模为信息最大化过程。VBR 通过联合视觉-语义对齐来验证点是否正确，放弃仅靠文本坐标推断，以更可靠的验证方式。基于这些组件，\model 实现了从边界框初始化、熵导向点发现、视觉验证到掩码解码的粗到细的工作流程。在四个基准数据集上进行的广泛评估显示，\model 在所有四个基准数据集上均实现了新的最佳性能，凸显了其在生成准确且语义导向的分割掩码方面的有效性。
引用
@article{arxiv.2601.16394,
title = {ResAgent: Entropy-based Prior Point Discovery and Visual Reasoning for Referring Expression Segmentation},
author = {Yihao Wang and Jusheng Zhang and Ziyi Tang and Keze Wang and Meng Yang},
journal= {arXiv preprint arXiv:2601.16394},
year = {2026}
}
备注
23 pages, 7gigures