面向开放世界协同显著目标检测的生成式不确定性感知组选择性交换掩码方法
计算机视觉与模式识别
2023-10-17 v1
摘要
协同显著目标检测（CoSOD）任务的传统定义是在一组相关图像中分割出共同的显著物体。该定义基于组共识一致性假设，在开放世界设定下并不总是合理，导致模型在开放世界场景中输入图像组含有不相关图像时存在鲁棒性问题。为解决这个问题，我们引入一种组选择性交换掩码（GSEM）方法来增强CoSOD模型的鲁棒性。GSEM以两组图像为输入，每组包含不同类型的显著物体。基于我们设计的混合度量，GSEM使用一种新颖的基于学习的策略从每组中选择一个图像子集，然后交换所选图像。为同时考虑不相关图像引入的不确定性以及组中剩余相关图像的共识特征，我们设计了一个潜变量生成器分支和CoSOD transformer分支。前者由矢量量化变分自编码器组成，用于生成建模不确定性的随机全局变量。后者旨在捕获包含组共识的基于相关性的局部特征。最后，两个分支的输出被合并并传入基于transformer的解码器以生成鲁棒预测。考虑到目前尚无专为开放世界场景设计的基准数据集，我们基于现有数据集构建了三个开放世界基准数据集，即OWCoSal、OWCoSOD和OWCoCA。通过打破组一致性假设，这些数据集有效模拟了真实世界场景，能更好地评估模型的鲁棒性和实用性。
引用
@article{arxiv.2310.10264,
title = {Towards Open-World Co-Salient Object Detection with Generative Uncertainty-aware Group Selective Exchange-Masking},
author = {Yang Wu and Shenglong Hu and Huihui Song and Kaihua Zhang and Bo Liu and Dong Liu},
journal= {arXiv preprint arXiv:2310.10264},
year = {2023}
}