HARIS：面向参考图像分割的人类类注意力机制
计算机视觉与模式识别
2024-05-22 v2
摘要
指涉图像分割（RIS）旨在定位与语言表达相对应的特定区域。现有方法以\emph{自下而上}方式融合来自不同模态的特征，可能获取不必要的图像-文本对，导致分割掩码不准确。本文提出一种称为HARIS的指涉图像分割方法，引入人类类注意力机制并采用参数高效微调（PEFT）框架。具体而言，人类类注意力通过多模态特征获取\emph{反馈}信号，使网络聚焦于特定目标并过滤无关图像-文本对。此外，我们引入PEFT框架以保留预训练编码器的零样本能力。在三个广泛使用的RIS基准数据集和PhraseCut数据集上的大量实验表明，本方法实现了最新性能并具备出色的零样本能力。
引用
@article{arxiv.2405.10707,
title = {HARIS: Human-Like Attention for Reference Image Segmentation},
author = {Mengxi Zhang and Heqing Lian and Yiming Liu and Jie Chen},
journal= {arXiv preprint arXiv:2405.10707},
year = {2024}
}