无Alpha标签训练图像抠图模型
计算机视觉与模式识别
2024-08-21 v1
摘要
标签的难度一直是深度图像抠图中的长期问题。为摆脱细粒标签，本文探索了使用粗糙注释（如粗糙的前景/背景指示图）作为监督。我们表明，从已知区域学习到的语义信息与恰当假设的抠图规则的合作，可以帮助推断过渡区域的 alpha 值。灵感来源于传统图像抠图中的 nonlocal 原理，我们在每个像素邻域构建方向距离一致性损失（DDC 损失），以输入图像为条件约束 alpha 值。DDC 损失迫使 alpha matte 上的相似对在距离上的一致性。如此一来，alpha 值可从已学习的已知区域传播到未知的过渡区域。仅凭图像和 trimap，即可在已知损失和所提出的 DDC 损失的监督下训练抠图模型。在 AM-2K 和 P3M-10K 数据集上的实验表明，我们的方法在与细标签监督的基线相当的性能，甚至有时比人工标注的真实值更满意。代码已公开 \url{https://github.com/poppuppy/alpha-free-matting}。
引用
@article{arxiv.2408.10539,
title = {Training Matting Models without Alpha Labels},
author = {Wenze Liu and Zixuan Ye and Hao Lu and Zhiguo Cao and Xiangyu Yue},
journal= {arXiv preprint arXiv:2408.10539},
year = {2024}
}
备注
12 pages, 12 figures