利用视觉与语义嵌入协同注意的弱监督少样本目标分割
计算机视觉与模式识别
2020-05-19 v3
摘要
近来在开发少样本目标分割方法方面已取得显著进展。研究表明,使用像素级、涂鸦和边界框监督,少样本分割设置中的学习是成功的。本文采取另一种思路,即仅需要图像级标签进行少样本目标分割。我们提出了一种用于少样本目标分割的新颖多模态交互模块,其利用基于视觉与词嵌入的协同注意机制。我们使用图像级标签的模型比先前提出的图像级少样本目标分割高出 4.8%。它在 PASCAL-5i 上也优于使用弱边界框监督的最先进方法。我们的结果表明,少样本分割得益于利用词嵌入,且我们能够使用堆叠联合视觉语义处理与弱图像级标签执行少样本分割。我们进一步提出了一种新颖设置:用于少样本学习的时序目标分割(TOSFL)用于视频。TOSFL 可用于多种公开视频数据如 Youtube-VOS,如实例级与类别级 TOSFL 实验所展示。
引用
@article{arxiv.2001.09540,
title = {Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings},
author = {Mennatullah Siam and Naren Doraiswamy and Boris N. Oreshkin and Hengshuai Yao and Martin Jagersand},
journal= {arXiv preprint arXiv:2001.09540},
year = {2020}
}
备注
Accepted to IJCAI'20. The first three authors listed contributed equally