ZIM：面向任意物体的零样本图像抠图
计算机视觉与模式识别
2025-08-29 v2
摘要
近期分割基础模型Segment Anything Model（SAM）展现出强大的零样本分割能力，但在生成精细精确的遮罩方面存在不足。为解决这一局限，我们提出了一种新型零样本图像抠图模型ZIM，包含两项关键贡献：第一，我们开发了一种标签转换器，将分割标签转换为详细的抠图标签，构建了新的SA1B-Matte数据集，无需昂贵的逐样本人工标注。使用该数据集训练SAM使其能够生成精确的抠图遮罩，同时保持其零样本能力。第二，我们设计了配备分层像素解码器的零样本抠图模型以增强遮罩表示，以及一种提示感知的掩码注意力机制，通过使模型聚焦于视觉提示指定的区域来提升性能。我们在新建的MicroMat-3K测试集上评估ZIM，该测试集包含高质量的微观级抠图标签。实验结果表明，ZIM在精细遮罩生成和零样本泛化方面优于现有方法。此外，我们展示了ZIM在多种需要精确遮罩的下游任务中的多功能性，如图像修复和3D NeRF。我们的贡献为零样本抠图及其在广泛计算机视觉任务中的下游应用奠定了坚实基础。代码可在https://github.com/naver-ai/ZIM获取。
引用
@article{arxiv.2411.00626,
title = {ZIM: Zero-Shot Image Matting for Anything},
author = {Beomyoung Kim and Chanyong Shin and Joonhyun Jeong and Hyungsik Jung and Se-Yun Lee and Sewhan Chun and Dong-Hyun Hwang and Joonsang Yu},
journal= {arXiv preprint arXiv:2411.00626},
year = {2025}
}
备注
ICCV 2025 (Highlight)