OpTorch：面向资源受限环境的优化深度学习架构
机器学习
2021-05-05 v2 硬件体系结构
机器学习
摘要
深度学习算法已取得诸多突破，并在现实中有各种应用。随着数据和深度学习流水线复杂度的增加，计算资源成为瓶颈。本文从训练的时间和内存等多个方面提出优化的深度学习流水线。OpTorch 是一个机器学习库，旨在克服现有神经网络训练实现中的弱点。OpTorch 提供了在有限计算资源下训练复杂神经网络的功能。OpTorch 在 Cifar-10 和 Cifar-100 数据集上取得了与现有库相同的精度，同时将内存使用降低到约 50%。我们还探讨了权重对深度学习流水线总内存使用的影响。在我们的实验中，并行编码-解码与顺序检查点相结合，在保持与现有流水线相近精度的同时，大幅改善了内存和时间使用。OpTorch python 包可在 https://github.com/cbrl-nuces/optorch 获取。
引用
@article{arxiv.2105.00619,
title = {OpTorch: Optimized deep learning architectures for resource limited environments},
author = {Salman Ahmed and Hammad Naveed},
journal= {arXiv preprint arXiv:2105.00619},
year = {2021}
}