RPR：用于训练的随机划分松弛；二值与三值权重神经网络
计算机视觉与模式识别
2020-01-07 v1
摘要
我们提出随机划分松弛（RPR），一种将神经网络权重强量化至二值（+1/-1）与三值（+1/0/-1）的方法。从预训练模型出发，我们量化权重，随后将其随机划分块松弛回连续值以进行再训练，之后重新量化并切换到另一权重划分块以进一步适配。我们展示了二值与三值权重网络，在GoogLeNet上取得超越当前最优（SOTA）的准确率，并在ResNet-18与ResNet-50上取得具竞争力的性能，所用基于SGD的训练方法可轻松集成进现有框架。
引用
@article{arxiv.2001.01091,
title = {RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks},
author = {Lukas Cavigelli and Luca Benini},
journal= {arXiv preprint arXiv:2001.01091},
year = {2020}
}