零值亦可提供信息：面向 Tensor Core 的掩码二值 U-Net 图像分割
计算机视觉与模式识别
2026-01-21 v1 机器学习
摘要
实时图像分割是 AR/VR、机器人、无人机和自主系统的关键使能技术，这些系统在资源受限的边缘设备上必须满足严格的准确性、延迟和能耗预算。与基于大型 Transformer 的模型相比，U-Net 在准确性和效率之间提供了良好的平衡，但由于算力、内存和功耗限制，在高分辨率输入上实现实时性能仍然具有挑战性。极端量化，特别是二值网络，因其对硬件友好的操作而备受青睐。然而，两个障碍限制了其实用性：(1) 严重的准确性下降，以及 (2) 缺乏在通用 GPU 上提供端到端效率的实现。我们提出了两个指导设计的经验观察。(1) 显式的零状态是必不可少的：对二值 U-Net 权重进行零掩码训练会产生显著的稀疏性。(2) 量化敏感性在各层间是均匀的。受这些发现的启发，我们引入了掩码二值 U-Net (MBU-Net)，它通过一种成本感知的掩码策略获得，该策略优先在能产生最高单位成本准确率的地方进行掩码，从而在准确性与近乎二值的效率之间取得平衡。为了在实践中实现这些收益，我们开发了一个 GPU 执行框架，该框架通过减法位编码方案将 MBU-Net 映射到 Tensor Core，从而高效地实现了带有二值激活的掩码二值权重。该设计利用原生二值 Tensor Core BMMA 指令，在广泛可用的 GPU 上实现了高吞吐量和节能。在 3 个分割基准测试中，MBU-Net 达到了接近全精度的准确率（平均下降 3%），同时与 16 位浮点 U-Net 相比，实现了 2.04 倍的加速和 3.54 倍的能耗降低。
引用
@article{arxiv.2601.11660,
title = {Zeros can be Informative: Masked Binary U-Net for Image Segmentation on Tensor Cores},
author = {Chunshu Wu and Ruibing Song and Sushant Kondguli and Tong Geng and Ang Li},
journal= {arXiv preprint arXiv:2601.11660},
year = {2026}
}