分段中的神经符号空间推理
计算机视觉与模式识别
2025-10-20 v1
摘要
开词表语义分段（OVSS）分配像素级别的标签，需要对未知和未标记的对象进行泛化。使用视觉语言模型（VLM）将局部图像块与潜在未知对象类别相关联，由于缺乏对场景中对象空间关系的理解，存在问题。为解决此问题，我们在OVSS中引入神经符号（NeSy）空间推理。与当代基于VLM相关性的方法不同，我们提出Relational Segmentor（RelateSeg），通过一阶逻辑（FOL）在神经网络架构中施加显式空间关系约束。这首次尝试在OVSS中探索NeSy空间推理。具体而言，RelateSeg自动提取空间关系，例如<cat, to-right-of, person>，并通过我们提出的伪类别编码为一阶逻辑公式。每个像素学习同时预测语义类别（例如"cat"）和空间伪类别（例如"person的右侧"），以强制关系约束（例如，"cat"像素必须位于"person"的右侧）。最后，这些逻辑约束通过模糊逻辑松弛形式化为深度网络架构，实现空间关系一致的分段端到端学习。RelateSeg在四个基准数据集上的平均mIoU实现了状态-of-the-art性能，特别是在包含多个类别的图像上表现突出，仅引入单个辅助损失函数且无需额外参数，验证了NeSy空间推理在OVSS中的有效性。
引用
@article{arxiv.2510.15841,
title = {Neuro-Symbolic Spatial Reasoning in Segmentation},
author = {Jiayi Lin and Jiabo Huang and Shaogang Gong},
journal= {arXiv preprint arXiv:2510.15841},
year = {2025}
}