Equal Bits：强制二进制网络权重等分布
机器学习
2022-03-08 v2 计算机视觉与模式识别
摘要
二进制网络极为高效，因为它们仅使用两个符号来定义网络：。人们可以将这些符号的先验分布作为一种设计选择。Qin 等人近期的 IR-Net 认为，对二进制权重施加具有等先验（等位比）的伯努利分布可带来最大熵，从而最小化信息损失。然而，已有工作无法在训练过程中精确控制二进制权重分布，因此无法保证最大熵。本文表明，使用最优传输进行量化可以保证任意位比，包括等位比。我们通过实验考察发现等位比确实更优，并展示我们的方法带来了优化上的益处。我们表明，即便在使用二进制权重剪枝的情况下，与最先进的二值化方法相比，我们的量化方法依然有效。
引用
@article{arxiv.2112.03406,
title = {Equal Bits: Enforcing Equally Distributed Binary Network Weights},
author = {Yunqiang Li and Silvia L. Pintea and Jan C. van Gemert},
journal= {arXiv preprint arXiv:2112.03406},
year = {2022}
}