TIRAMISU：面向稠密与稀疏深度学习的多面体编译器
分布式、并行与集群计算
2020-05-11 v1 神经与进化计算
摘要
本文展示了一个能够优化稀疏神经网络和循环神经网络的编译器，这两者目前均不在现有神经网络编译器的处理范围内（此处的稀疏神经网络指可通过稀疏张量代数技术加速的网络）。我们的展示包括将稀疏神经网络和循环神经网络映射到多面体模型，并在我们最先进的多面体编译器 TIRAMISU 中实现了该方法。我们在一组深度学习基准上评估了该方法，并将结果与手工优化的工业库进行了比较。结果表明，我们的方法至少与 Intel MKL-DNN 性能持平，在某些情况下（在多核 CPU 上）性能提升达 5 倍。
引用
@article{arxiv.2005.04091,
title = {TIRAMISU: A Polyhedral Compiler for Dense and Sparse Deep Learning},
author = {Riyadh Baghdadi and Abdelkader Nadir Debbagh and Kamel Abdous and Fatima Zohra Benhamida and Alex Renda and Jonathan Elliott Frankle and Michael Carbin and Saman Amarasinghe},
journal= {arXiv preprint arXiv:2005.04091},
year = {2020}
}