MaskRIS：语义扭曲感知的数据增强用于指代图像分割
计算机视觉与模式识别
2025-11-20 v2
摘要
指代图像分割 (RIS) 是一种高级视觉-语言任务，涉及识别和分割图像中由自由形式文本描述的目标。虽然前期研究聚焦于对齐视觉和语言特征，探索训练技术（如数据增强）仍属未充分探索之中。本文探索了有效的数据增强方法，并提出一种新型训练框架，称为掩码式指代图像分割 (MaskRIS)。我们观察到，常规图像增强在 RIS 上效果不佳，导致性能下降，而简单的随机掩码显著提升了 RIS 的性能。MaskRIS 使用图像和文本掩码，随后采用扭曲感知上下文学习 (DCL) 充分利用掩码策略的优势。该方法可提高模型对遮挡、信息不完整及各种语言复杂性的鲁棒性，从而实现显著性能提升。实验表明，MaskRIS 可轻松应用于各种 RIS 模型，在完全监督和弱监督设置下均优于现有方法。最后，MaskRIS 在 RefCOCO、RefCOCO+ 和 RefCOCOg 数据集上实现了新的最佳性能。代码已公开于 https://github.com/naver-ai/maskris。
引用
@article{arxiv.2411.19067,
title = {MaskRIS: Semantic Distortion-aware Data Augmentation for Referring Image Segmentation},
author = {Minhyun Lee and Seungho Lee and Song Park and Dongyoon Han and Byeongho Heo and Hyunjung Shim},
journal= {arXiv preprint arXiv:2411.19067},
year = {2025}
}
备注
Accepted to TMLR 2025. First two authors contributed equally