带过渡正则化项的二值化权值误差网络
计算机视觉与模式识别
2021-05-11 v1
摘要
本文提出一种新颖的二值化权值网络（BT），用于资源高效的神经结构。所提模型通过引入附加项考虑近似误差来估计权值的二值表示。该模型提升了表示能力与稳定性，尤其对浅层网络而言，同时计算负载在理论上得以降低。此外，引入了一种适用于所有基于阈值的二值精度网络的新颖正则化项。该项惩罚那些远离发生二值跳变的阈值的可训练参数。此步骤促进了训练时二值精度响应的快速修正。实验结果在两类任务上展开：视觉分类与视觉逆问题。在Cifar10、SVHN、Fashion、ImageNet2012、Set5、Set14、Urban和BSD100数据集上的基准测试表明，我们的方法以二值精度优于所有同类方法。
引用
@article{arxiv.2105.03897,
title = {Binarized Weight Error Networks With a Transition Regularization Term},
author = {Savas Ozkan and Gozde Bozdagi Akar},
journal= {arXiv preprint arXiv:2105.03897},
year = {2021}
}
备注
Submitted to ICIP 2021