利用二值神经网络降低深度生成模型的计算代价
机器学习
2021-05-05 v2
摘要
深度生成模型提供了一套理解真实世界数据的有力工具。但随着这些模型的改进，其规模与复杂度不断增加，因而其内存与执行时间上的计算代价也随之增长。在神经网络中使用二值权重是一种已显示出降低该代价前景的方法。然而，二值神经网络能否用于生成模型仍是一个开放问题。在本工作中，我们首次表明可以成功训练利用二值神经网络的生成模型。这极大降低了模型的计算代价。我们提出了一类新的二值权重归一化方法，并为这些二值化生成模型的架构设计提供了见解。我们证明了两个最先进的深度生成模型，即 ResNet VAE 与 Flow++ 模型，可利用这些技术被有效二值化。我们训练的二值模型取得的损失值接近常规模型，但规模减小 90%–94%，并且显著加快了执行时间。
引用
@article{arxiv.2010.13476,
title = {Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks},
author = {Thomas Bird and Friso H. Kingma and David Barber},
journal= {arXiv preprint arXiv:2010.13476},
year = {2021}
}
备注
Accepted to ICLR 2021