利用FPGA训练渐进二值化深度网络
计算机视觉与模式识别
2021-02-18 v1 机器学习
图像与视频处理
摘要
尽管二值化神经网络（BNN）推理例程的硬件实现十分丰富，但当前适用于物联网（IoT）边缘设备的高效BNN硬件训练加速器的实现仍不尽如人意。传统的BNN硬件训练加速器在前向和反向传播中使用采用二值表示的参数，并使用采用浮点或定点实值表示的参数进行优化——这需要两组不同的网络参数。本文提出了一种硬件友好的训练方法，与常规方法相反，该方法渐进二值化单一组定点网络参数，显著降低了功耗与资源利用率。我们使用Intel FPGA SDK for OpenCL开发环境在OpenVINO FPGA上训练渐进二值化DNN。我们在GPU和FPGA上使用CIFAR-10对训练方法进行基准测试，并与传统BNN进行比较。
引用
@article{arxiv.2001.02390,
title = {Training Progressively Binarizing Deep Networks Using FPGAs},
author = {Corey Lammie and Wei Xiang and Mostafa Rahimi Azghadi},
journal= {arXiv preprint arXiv:2001.02390},
year = {2021}
}
备注
Accepted at 2020 IEEE International Symposium on Circuits and Systems (ISCAS)