基于监督学习的深度神经网络算法选择
分布式、并行与集群计算
2017-03-20 v2 机器学习
摘要
许多近期深度学习平台依赖第三方库（如cuBLAS）来利用现代硬件加速器（如GPU）的计算能力。然而，我们观察到它们可能因未恰当使用库函数而达到次优性能。本文旨在优化一个矩阵与另一矩阵转置相乘的操作（以下称为NT操作），该操作占全连接深度神经网络训练时间约一半。我们没有直接调用库函数，而是提出一种名为MTNN的基于监督学习的算法选择方法，其使用梯度提升决策树从两种备选NT实现中智能选择一种：(1) 调用cuBLAS库函数；(2) 调用我们提出的算法TNN，该算法使用一种高效的非原地矩阵转置。我们在两款现代GPU（NVIDIA GTX 1080和NVIDIA Titan X Pascal）上评估MTNN的性能。MTNN能以极低的计算开销实现96%的预测准确率，从而在一系列NT操作上带来平均54%的性能提升。为进一步评估MTNN对深度神经网络训练过程的影响，我们将MTNN集成到流行的深度学习平台Caffe中。实验结果表明，修订后的Caffe平均性能超越原版28%。MTNN与修订后的Caffe均为开源。
引用
@article{arxiv.1702.03192,
title = {Supervised Learning Based Algorithm Selection for Deep Neural Networks},
author = {Shaohuai Shi and Pengfei Xu and Xiaowen Chu},
journal= {arXiv preprint arXiv:1702.03192},
year = {2017}
}
备注
In review for a conference paper of ICPP2017