面向指代图像分割的全对齐网络
计算机视觉与模式识别
2024-10-01 v1
摘要
本文聚焦于指代图像分割（RIS）任务，即基于给定语言描述对图像中的目标对象进行分割。RIS的核心问题在于实现不同模态之间的细粒度对齐，以识别和分割目标对象。近期采用注意力机制进行跨模态交互的研究取得了显著进展。然而，当前方法倾向于缺乏交互设计的明确原则作为指导，导致跨模态理解不足。此外，大多数前期工作使用单模态掩码解码器进行预测，牺牲了充分跨模态对齐的优势。为此，本文提出了全对齐网络（FAN），遵循四项跨模态交互原则。在合理规则的指导下，FAN以简单架构在主流RIS基准数据集（RefCOCO、RefCOCO+、G-Ref）上实现了最先进的性能。
引用
@article{arxiv.2409.19569,
title = {Fully Aligned Network for Referring Image Segmentation},
author = {Yong Liu and Ruihao Xu and Yansong Tang},
journal= {arXiv preprint arXiv:2409.19569},
year = {2024}
}