BiVM：高效视频抠图的准确二值化神经网络
计算机视觉与模式识别
2025-07-08 v1
摘要
实时视频抠图的深度神经网络在边缘设备上受到显著的计算限制，阻碍了其在线会议和短视频制作等广泛应用场景的普及。二值化是最常见的压缩方法之一，采用紧凑的 1 位参数和高效的按位运算。然而，由于其退化的编码器和冗余的解码器，二值化视频抠图网络在准确率和效率方面存在局限。我们基于信息瓶颈原理进行理论分析，发现局限主要源于中间特征中与预测相关信息的退化以及预测无关区域的冗余计算。我们提出 BiVM，一个准确且资源高效的视频抠图二值化神经网络。首先，我们构建一系列具有弹性快捷方式和可演化拓扑结构的二值化计算模块，使编码器主干网络能够从输入视频中提取高质量的表征，以实现准确预测。其次，我们通过掩码均匀区域来稀疏化二值化解码器的中间特征，使其聚焦于具有多样细节的表征，同时减轻高效推理的计算负担。进一步，我们构建了一个基于信息引导策略的局部二值化感知模仿框架，促使全精度对应物中与抠图相关的表征得到准确且充分的利用。全面实验表明，所提出的 BiVM 在准确率上显著优于替代方案，包括最先进（SOTA）的二值化方法。此外，我们的 BiVM 在计算和存储成本上分别实现了 14.3 倍和 21.6 倍的显著节省。我们还在 ARM CPU 硬件上评估了 BiVM。
引用
@article{arxiv.2507.04456,
title = {BiVM: Accurate Binarized Neural Network for Efficient Video Matting},
author = {Haotong Qin and Xianglong Liu and Xudong Ma and Lei Ke and Yulun Zhang and Jie Luo and Michele Magno},
journal= {arXiv preprint arXiv:2507.04456},
year = {2025}
}