元组合指代表达分割
计算机视觉与模式识别
2023-04-13 v3
摘要
指代表达分割旨在从图像中分割出由语言描述所指的对象。尽管该任务近期取得了进展，现有处理此任务的模型可能未能充分捕捉个体概念的语义与视觉表征，这限制了其泛化能力，尤其在处理已学概念的新组合时。本文通过元学习的视角，提出一种元组合指代表达分割（MCRES）框架，以提升模型的组合泛化性能。具体而言，为处理不同层级的新组合，我们的框架首先利用训练数据构建虚拟训练集与多个虚拟测试集，其中每个虚拟测试集中的数据样本相对于虚拟训练集包含某一层级的新组合。随后，遵循一种新颖的元优化方案，使模型在虚拟训练集上训练后于虚拟测试集上获得良好测试性能，我们的框架能有效驱动模型更好地捕捉个体概念的语义与视觉表征，从而即使在处理新组合时也获得鲁棒的泛化性能。在三个基准数据集上的大量实验证明了我们框架的有效性。
引用
@article{arxiv.2304.04415,
title = {Meta Compositional Referring Expression Segmentation},
author = {Li Xu and Mark He Huang and Xindi Shang and Zehuan Yuan and Ying Sun and Jun Liu},
journal= {arXiv preprint arXiv:2304.04415},
year = {2023}
}
备注
Accepted by CVPR 2023