基于空间-语义网络调制的深度对象协同分割
计算机视觉与模式识别
2019-12-02 v1 机器学习
图像与视频处理
摘要
对象协同分割旨在对多张相关图像中的共有对象进行分割，在计算机视觉中有诸多应用。本文提出一种用于对象协同分割的空间与语义调制深度网络框架。采用骨干网络提取多分辨率图像特征。以相关图像的多分辨率特征为输入，我们设计空间调制器为每幅图像学习一个掩码。空间调制器通过无监督学习捕捉图像特征描述子间的相关性。所学掩码可粗略定位共有前景对象并抑制背景。对于语义调制器，我们将其建模为有监督图像分类任务，并提出一种分层二阶池化模块以转换图像特征供分类使用。两个调制器的输出通过平移-缩放操作操控多分辨率特征，使特征聚焦于协同对象区域分割。所提模型端到端训练，无需任何复杂后处理。在四个图像协同分割基准数据集上的大量实验表明，相较 SOTA 方法，本方法具有更优精度。
引用
@article{arxiv.1911.12950,
title = {Deep Object Co-segmentation via Spatial-Semantic Network Modulation},
author = {Kaihua Zhang and Jin Chen and Bo Liu and Qingshan Liu},
journal= {arXiv preprint arXiv:1911.12950},
year = {2019}
}