MaGGIe: 掩码引导的渐进式人体实例抠图

人体抠图是图像和视频处理中的一项基础任务，旨在从输入中提取人体前景像素。先前的工作要么通过额外引导提高精度，要么改善单个实例在时间上的一致性。我们提出了一种新框架MaGGIe，即掩码引导的渐进式人体实例抠图，它在保持计算成本、精度和一致性的同时，逐步预测每个人体实例的alpha遮罩。我们的方法利用现代架构，包括Transformer注意力和稀疏卷积，在不增加内存和延迟的情况下同时输出所有实例遮罩。尽管在多实例场景中保持恒定的推理成本，我们的框架在我们提出的合成基准测试中实现了稳健且通用的性能。借助更高质量的图像和视频抠图基准，我们引入了一种基于公开资源的新型多实例合成方法，以增强模型在真实场景中的泛化能力。