面向抠图的自监督人像增强与生成
计算机视觉与模式识别
2022-08-16 v1 人工智能
摘要
我们从一个完全不同的视角解决不适定的 alpha matting 问题。给定一张输入人像图像，我们不估计对应的 alpha matte，而是关注另一端，对该输入进行细微增强，使得任何现有的 matting 模型都能轻易估计出 alpha matte。这是通过探索 GAN 模型的潜空间来实现的。结果表明，在潜空间中可以找到可解释的方向，它们对应于语义图像变换。我们在 alpha matting 中进一步探索了这一特性。具体而言，我们将输入人像反演为 StyleGAN 的潜码，我们的目标是发现在潜空间中是否存在一个与参考 matting 模型更兼容的增强版本。我们在四个量身定制的损失函数下优化潜空间中的多尺度潜向量，确保对人像的修改具有 matting 特异性且细微。我们证明，所提出的方法能够为任意 matting 模型精修真实人像图像，大幅提升自动 alpha matting 的性能。此外，我们利用 StyleGAN 的生成特性，提出生成增强的人像数据，这些数据可被视为伪 GT。它解决了 alpha matte 标注昂贵的问题，进一步增强了现有模型的 matting 性能。代码可在~\url{https://github.com/cnnlstm/StyleGAN_Matting} 获取。
引用
@article{arxiv.2208.06601,
title = {Self-supervised Matting-specific Portrait Enhancement and Generation},
author = {Yangyang Xu Zeyang Zhou and Shengfeng He},
journal= {arXiv preprint arXiv:2208.06601},
year = {2022}
}