面向高性能计算的矩阵引擎：性能典范还是徒劳之举？
分布式、并行与集群计算
2021-03-02 v2
摘要
矩阵引擎或单元以不同形式和亲和度正成为现代处理器（CPU及其他）中的现实。当前深度学习的主导算法范式证明了在这些单元上的商业投资合理性，并且从超级计算头号基准 High Performance Linpack 推断，人们也会预期 HPC 社区被唤醒的热情。因此，我们的目标是通过使用矩阵引擎来识别对 HPC 和机器学习应用的实际附加收益。为此，我们对软件栈、代理应用与基准测试以及历史批处理作业记录进行了深入调研。我们从渐近角度并结合最先进的处理器，提供了矩阵引擎的成本效益分析。虽然我们的经验数据会抑制这种热情，但我们也概述了若这些稠密矩阵乘法引擎免费提供时被误用的可能性。
引用
@article{arxiv.2010.14373,
title = {Matrix Engines for High Performance Computing:A Paragon of Performance or Grasping at Straws?},
author = {Jens Domke and Emil Vatai and Aleksandr Drozd and Peng Chen and Yosuke Oyama and Lingqi Zhang and Shweta Salaria and Daichi Mukunoki and Artur Podobas and Mohamed Wahib and Satoshi Matsuoka},
journal= {arXiv preprint arXiv:2010.14373},
year = {2021}
}
备注
IEEE International Parallel and Distributed Processing Symposium 2021 (IPDPS'21)