DART：深度增强的精确实时背景抠图
计算机视觉与模式识别
2024-02-27 v1 人工智能
摘要
静态背景抠图（通常称为“背景抠图”，BGM）因其在网络直播和照片编辑等实际应用中的关键作用而受到计算机视觉界的广泛关注。然而，实现高精度的背景抠图仍然是一项艰巨的挑战，这主要归因于传统RGB图像的固有限制。这些限制表现为易受光照变化和意外阴影的影响。在本文中，我们利用RGB-D（RGB-深度）相机提供的丰富深度信息来增强实时背景抠图性能，该方法称为DART。首先，我们将原始的基于RGB的BGM算法进行适配以融入深度信息。所得模型的输出通过贝叶斯推理进行细化，并引入背景深度先验。后验预测随后被转换为“三分图”，再输入到最先进的抠图算法中以生成更精确的alpha遮罩。为确保实时抠图能力（许多实际应用的关键要求），我们从一个更大、更通用的BGM网络中对模型的主干进行蒸馏。实验证明了所提方法的优越性能。此外，得益于蒸馏操作，我们的方法在中端边缘计算设备上实现了每秒33帧的惊人处理速度。这一高效率凸显了DART在移动应用中的巨大潜力。
引用
@article{arxiv.2402.15820,
title = {DART: Depth-Enhanced Accurate and Real-Time Background Matting},
author = {Hanxi Li and Guofeng Li and Bo Li and Lin Wu and Yan Cheng},
journal= {arXiv preprint arXiv:2402.15820},
year = {2024}
}