MIOpen：一个用于深度学习原语的开源库
机器学习
2019-10-02 v1 机器学习
摘要
深度学习已在商业词汇中成为常见现象。近年来深度学习前所未有的成功可归因于：数据的丰富、GPU 提供的庞大计算能力的可用性，以及研究人员和工业界对开源哲学的采纳。深度神经网络可分解为一系列不同的算子。MIOpen 是 AMD 面向 GPU 的开源深度学习原语库，提供这些算子的高度优化实现，使研究人员免于内部实现细节，从而加速发现时间。本文介绍 MIOpen 并提供关于库内部工作机制与支持特性的细节。MIOpen 在多个方面创新，例如实现融合以优化内存带宽和 GPU 启动开销，提供自动调优基础设施以克服问题配置的庞大设计空间，以及实现不同算法以针对不同滤波器和输入尺寸优化卷积。MIOpen 是首批公开支持卷积的 bfloat16 数据类型的库之一，允许以更低精度高效训练而不损失准确性。
引用
@article{arxiv.1910.00078,
title = {MIOpen: An Open Source Library For Deep Learning Primitives},
author = {Jehandad Khan and Paul Fultz and Artem Tamazov and Daniel Lowell and Chao Liu and Michael Melesse and Murali Nandhimandalam and Kamil Nasyrov and Ilya Perminov and Tejash Shah and Vasilii Filippov and Jing Zhang and Jing Zhou and Bragadeesh Natarajan and Mayank Daga},
journal= {arXiv preprint arXiv:1910.00078},
year = {2019}
}