一种用于深度神经网络低成本定制的混合专家方法
计算机视觉与模式识别
2018-11-02 v1
摘要
利用用户特定数据在本地定制已训练的深度神经网络(DNN)能够极大提升用户体验、降低开发成本并保护用户隐私。本文提出采用一种新颖的混合专家(MOE)方法来实现这一目标。该架构由一个全局专家(GE)、一个局部专家(LE)和一个门控网络(GN)组成。GE是在代表众多潜在用户的大规模训练数据集上训练得到的DNN。部署到嵌入式边缘设备后,GE会面临定制化的用户特定数据(如语音中的口音),其性能可能下降。该问题可通过在小规模定制训练数据上训练一个局部DNN(局部专家,LE)来纠正GE所犯的错误而得以缓解。随后训练一个门控网络以确定 incoming 数据应由GE还是LE处理。由于定制数据集通常非常小,训练LE和GN的成本远低于重新训练GE。因此,LE和GN的训练可在本地设备完成,妥善保护定制训练数据的隐私。本文针对手写字母数字字符识别任务开发了MOE架构原型。我们使用EMNIST作为通用数据集,LeNet5作为GE,并以10位用户的手写体作为定制数据集。结果表明,借助LE和GN,在定制数据集上的分类准确率显著提升,而在通用数据集上的准确率几乎无下降。在能耗和网络规模方面,LE和GN的开销相对于GE约为2.5%。
引用
@article{arxiv.1811.00056,
title = {A Mixture of Expert Approach for Low-Cost Customization of Deep Neural Networks},
author = {Boyu Zhang and Azadeh Davoodi and Yu-Hen Hu},
journal= {arXiv preprint arXiv:1811.00056},
year = {2018}
}