基于互引导与多实例细化的人体实例抠图
计算机视觉与模式识别
2022-05-24 v1
摘要
本文引入了一项称为人体实例抠图（HIM）的新抠图任务，要求相应模型自动为每个自然人实例预测精确的 alpha 抠图。将实例分割、软分割以及人体/常规抠图等紧密相关的技术直接组合，在需要沿毛发状和细薄边界结构解开属于多个实例的混合颜色的复杂情况下容易失败。为应对这些技术挑战，我们提出了一种称为 InstMatt 的人体实例抠图框架，其中采用了一种新颖的互引导策略并与多实例细化模块协同工作，用以描绘在存在复杂且重叠边界的人之间的多实例关系。提出了一种称为实例抠图质量（IMQ）的新实例抠图指标，解决了缺乏统一且公平、同时强调实例识别与抠图质量的评估手段的问题。最后，我们构建了一个用于评估的 HIM 基准，包含合成与自然基准图像。除在具有多个重叠且边界复杂的人体实例的复杂案例上的详尽实验结果外，还给出了在通用实例抠图上的初步结果。代码与基准见 https://github.com/nowsyn/InstMatt。
引用
@article{arxiv.2205.10767,
title = {Human Instance Matting via Mutual Guidance and Multi-Instance Refinement},
author = {Yanan Sun and Chi-Keung Tang and Yu-Wing Tai},
journal= {arXiv preprint arXiv:2205.10767},
year = {2022}
}
备注
16 pages, 20 figures, CVPR2022 Oral