端到端全二值化网络设计：从通用学习温度计到块剪枝
机器学习
2025-05-21 v1 硬件体系结构
计算机视觉与模式识别
图像与视频处理
机器学习
摘要
现有的二值神经网络（BNN）研究主要关注模型的权重和激活，而忽略了输入原始数据的考虑。本文引入通用学习温度计（GLT），一种用于BNN输入数据表示的编码技术，依赖于学习非线性量化阈值。该技术由多次数据二值化组成，可以有效地替代使用自然二进制编码的传统模数转换（ADC）。此外，我们联合提出了一种紧凑拓扑结构，通过块剪枝和知识蒸馏（KD）训练轻量级分组卷积，旨在进一步减小模型规模及其计算复杂度。我们表明GLT通过内在地执行全局色调映射为BNN带来了灵活性，在实践中实现了显著的精度提升（在STL-10和VWW数据集上的仿真得到验证）。此外，当将GLT与所提出的块剪枝技术结合时，我们成功实现了轻量级（低于1Mb）、完全二值化的模型，精度退化有限，同时适用于传感器内始终在线推理场景。
引用
@article{arxiv.2505.13462,
title = {End-to-end fully-binarized network design: from Generic Learned Thermometer to Block Pruning},
author = {Thien Nguyen and William Guicquero},
journal= {arXiv preprint arXiv:2505.13462},
year = {2025}
}
备注
Accepted to IEEE AICAS 2025