AxTrain：面向硬件的近似推理神经网络训练框架
机器学习
2018-05-23 v1 分布式、并行与集群计算
图像与视频处理
机器学习
摘要
神经网络（NN）固有的误差容忍性使近似计算成为提高 NN 推理能效的一种有前景的技术。传统的近似计算侧重于为已有的预训练网络平衡效率-精度权衡，这可能导致次优解。在本文中，我们提出 AxTrain，一个面向硬件的训练框架，以促进 NN 推理的近似计算。具体而言，AxTrain 利用两种正交方法之间的协同：一种主动搜索具有高误差容忍性的网络参数分布，另一种通过在训练阶段的前向传播中数值地引入近似硬件的噪声分布来被动学习鲁棒权重。基于近阈值计算和近似乘法策略的多个数据集的实验结果表明，AxTrain 能够获得鲁棒的神经网络参数并提升系统能效。
引用
@article{arxiv.1805.08309,
title = {AxTrain: Hardware-Oriented Neural Network Training for Approximate Inference},
author = {Xin He and Liu Ke and Wenyan Lu and Guihai Yan and Xuan Zhang},
journal= {arXiv preprint arXiv:1805.08309},
year = {2018}
}
备注
In International Symposium on Low Power Electronics and Design (ISLPED) 2018