分层渐进式图像抠图
计算机视觉与模式识别
2022-10-14 v1
摘要
大多数抠图研究借助高级语义以获得高质量 alpha 抠图，并通常探索直接低层特征组合来补充 alpha 细节。然而，我们认为与外观无关的结合只能提供有偏的前景细节，而 alpha 抠图需要不同层级的特征聚合以实现更好的逐像素不透明度感知。本文提出一种端到端的分层渐进式注意力抠图网络（HAttMatting++），可在无需额外输入的情况下从单张 RGB 图像更好地预测前景不透明度。具体而言，我们利用通道注意力提炼金字塔特征，并在不同层级采用空间注意力过滤外观线索。这种渐进式注意力机制能从自适应语义与语义指示边界估计 alpha 抠图。我们还引入了一种融合结构相似性（SSIM）、均方误差（MSE）、对抗损失与哨兵监督的混合损失函数，以引导网络进一步提升整体前景结构。此外，我们构建了一个大规模且具有挑战性的图像抠图数据集，包含 59,600 张训练图像与 1000 张测试图像（共 646 个不同的前景 alpha 抠图），可进一步增强我们分层渐进式聚合模型的鲁棒性。大量实验表明，所提出的 HAttMatting++ 能够捕捉复杂的前景结构，并以单张 RGB 图像作为输入取得最先进的性能。
引用
@article{arxiv.2210.06906,
title = {Hierarchical and Progressive Image Matting},
author = {Yu Qiao and Yuhao Liu and Ziqi Wei and Yuxin Wang and Qiang Cai and Guofeng Zhang and Xin Yang},
journal= {arXiv preprint arXiv:2210.06906},
year = {2022}
}
备注
23 pages, 11 Figures, ACM TOMM accepted