用于自然图像抠图的 Trimap 引导特征挖掘与融合网络
计算机视觉与模式识别
2023-10-05 v4
摘要
利用 trimap 引导与融合多级特征是基于 trimap 的像素级预测抠图的两个重要问题。为利用 trimap 引导，多数现有方法简单地将 trimap 与图像拼接后送入深度网络，或采用额外网络提取更多 trimap 引导，这面临效率与效果间的矛盾。对于新兴的基于内容的特征融合，多数现有抠图方法仅关注局部特征，缺乏与感兴趣物体相关的强语义信息全局特征的引导。本文提出一种 trimap 引导的特征挖掘与融合网络，由我们所提 trimap 引导的非背景多尺度池化（TMP）模块与全局-局部上下文感知融合（GLF）模块组成。考虑到 trimap 提供强语义引导，我们的 TMP 模块在 trimap 引导下对感兴趣物体进行高效特征挖掘且无需额外参数。此外，我们的 GLF 模块利用 TMP 模块挖掘的感兴趣物体全局语义信息，引导有效的全局-局部上下文感知多级特征融合。另外，我们构建了常见感兴趣物体抠图（CIOM）数据集以推进高质量图像抠图。特别地，在 Composition-1k 与我们的 CIOM 上的结果表明，相较于参数量更少、FLOPs 少 14% 的强基线，我们的 TMFNet 在 SAD 上分别取得 13% 与 25% 的相对提升。在 Composition-1k 测试集、Alphamatting 基准及我们的 CIOM 测试集上的实验结果证明，我们的方法优于当前最优方法。代码与模型见 https://github.com/Serge-weihao/TMF-Matting。
引用
@article{arxiv.2112.00510,
title = {Trimap-guided Feature Mining and Fusion Network for Natural Image Matting},
author = {Weihao Jiang and Dongdong Yu and Zhaozhi Xie and Yaoyi Li and Zehuan Yuan and Hongtao Lu},
journal= {arXiv preprint arXiv:2112.00510},
year = {2023}
}
备注
Accepted to Computer Vision and Image Understanding