高保真差分信息驱动的二进制视觉转换器
计算机视觉与模式识别
2025-07-15 v2
摘要
视觉转换器 (ViT) 的二值化提供了一种解决计算/存储需求与边缘设备部署约束之间的权衡的有前景的方法。然而，现有的二进制 ViT 方法常常会出现严重的性能下降，或高度依赖于全精度模块。为此，我们提出 DIDB-ViT，这是一种在保持原始 ViT 架构和计算效率的同时保持高度信息的二进制 ViT。具体而言，我们设计了一个包含差分信息的 informative 注意力模块，以减轻二值化导致的信息损失并增强高频保持。为保持二进制 Q 和 K 张量之间相似度计算的保真度，我们应用离散 Haar 小波进行频率分解并整合不同频率的相似性。此外，我们引入改进的 RPReLU 激活函数以重构激活分布，扩展模型的表示容量。实验结果表明，DIDB-ViT 在多个 ViT 架构上显著优于当今最先进的网络量化方法，实现了卓越的图像分类和分割性能。
引用
@article{arxiv.2507.02222,
title = {High-Fidelity Differential-information Driven Binary Vision Transformer},
author = {Tian Gao and Zhiyuan Zhang and Kaijie Yin and Xu-Cheng Zhong and Hui Kong},
journal= {arXiv preprint arXiv:2507.02222},
year = {2025}
}