BiBench：网络二值化的基准测试与分析
计算机视觉与模式识别
2023-05-23 v2 机器学习
摘要
网络二值化作为一种最有前景的压缩方法之一涌现出来，它通过最小化位宽提供非凡的计算与内存节省。然而，近期研究表明，在现实场景中将现有二值化算法应用于多样的任务、架构与硬件仍非易事。二值化的常见挑战，如精度下降与效率限制，表明其特性尚未被充分理解。为弥补这一差距，我们提出 BiBench，一个为网络二值化精心设计的、带深度分析的基准。我们首先仔细审视实际生产中对二值化的需求，并定义评估赛道与指标以进行全面且公平的调研。随后，我们评估并分析了一系列在算子层面起作用且具有广泛影响的里程碑式二值化算法。我们的基准揭示：1）二值化算子对二值化网络的性能与可部署性有关键影响；2）二值化的精度在不同学习任务与神经架构间差异显著；3）尽管硬件支持有限，二值化在边缘设备上已展现出令人期待的效率潜力。结果与分析还导向一种准确且高效的二值化前景范式。我们相信 BiBench 将促进二值化更广泛的应用，并作为未来研究的基础。我们的 BiBench 代码发布于 https://github.com/htqin/BiBench 。
引用
@article{arxiv.2301.11233,
title = {BiBench: Benchmarking and Analyzing Network Binarization},
author = {Haotong Qin and Mingyuan Zhang and Yifu Ding and Aoyu Li and Zhongang Cai and Ziwei Liu and Fisher Yu and Xianglong Liu},
journal= {arXiv preprint arXiv:2301.11233},
year = {2023}
}