软阈值三值网络
计算机视觉与模式识别
2022-04-05 v1
摘要
大型神经网络因密集的计算与存储而难以部署在移动设备上。为缓解该问题，我们研究三值化——一种在效率与精度间平衡、将权重与激活均量化为三值的方法。在以往的三值化神经网络中，引入硬阈值 以确定量化区间。尽管 的选择极大影响训练结果，已有工作通过近似估计 或将其作为超参数处理，均非最优。本文提出软阈值三值网络（STTN），使模型自动确定量化区间，而非依赖硬阈值。具体而言，我们在训练时将原始三值核替换为两个二值核之和，其中三值由对应两个二值组合确定。推理时，我们将两个二值核相加得到单个三值核。我们的方法大幅优于当前最优方法，缩小了全精度网络与极低位宽网络间的性能差距。在 ImageNet 上使用 ResNet-18（Top-1 66.2%）的实验达到了新的最优。更新：此版本中我们进一步微调了实验超参数与训练流程。最新 STTN 显示，具有三值权重与三值激活的 ResNet-18 在 ImageNet 上 Top-1 准确率可达 68.2%。代码见：github.com/WeixiangXu/STTN。
引用
@article{arxiv.2204.01234,
title = {Soft Threshold Ternary Networks},
author = {Weixiang Xu and Xiangyu He and Tianli Zhao and Qinghao Hu and Peisong Wang and Jian Cheng},
journal= {arXiv preprint arXiv:2204.01234},
year = {2022}
}