MODNet：通过目标分解实现实时无 Trimap 人像抠图
计算机视觉与模式识别
2022-03-21 v4
摘要
现有人像抠图方法要么需要难以获取的辅助输入，要么涉及计算昂贵的多阶段流程，使其不太适合实时应用。在本工作中，我们提出一种轻量级抠图目标分解网络（MODNet），以单张输入图像实时进行人像抠图。我们高效设计背后的关键思想是通过显式约束同时优化一系列子目标。此外，MODNet 包含两种用于提升模型效率与鲁棒性的新技术。首先，引入高效空洞空间金字塔池化（e-ASPP）模块以融合多尺度特征进行语义估计。其次，提出自监督子目标一致性（SOC）策略，使 MODNet 适配真实世界数据，以解决无 trimap 方法普遍存在的域偏移问题。MODNet 易于以端到端方式训练。它比同期方法快得多，在 1080Ti GPU 上以每秒 67 帧运行。实验表明，MODNet 在 Adobe Matting Dataset 和我们精心设计的摄影人像抠图（PPM-100）基准上大幅优于先前的无 trimap 方法。此外，MODNet 在每日照片与视频上取得了显著效果。我们的代码与模型发布于 https://github.com/ZHKKKe/MODNet，PPM-100 基准发布于 https://github.com/ZHKKKe/PPM。
引用
@article{arxiv.2011.11961,
title = {MODNet: Real-Time Trimap-Free Portrait Matting via Objective Decomposition},
author = {Zhanghan Ke and Jiayu Sun and Kaican Li and Qiong Yan and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2011.11961},
year = {2022}
}