TPU集群上伊辛模型的高性能蒙特卡洛模拟
分布式、并行与集群计算
2019-11-19 v4 计算物理
摘要
大规模深度学习受益于一类新兴的AI加速器。其中一些加速器的设计具有足够的通用性，可用于AI之外的计算密集型应用，Cloud TPU即为一例。在本文中，我们展示了一种在Cloud TPU上使用TensorFlow模拟二维伊辛模型的新方法。TensorFlow和Cloud TPU框架使得表达复杂的分布式算法时代码简洁可读，且不牺牲性能。我们的代码实现可放入一个小型Jupyter Notebook中，并充分利用Cloud TPU的高效矩阵运算和专用的高速片间连接。性能极具竞争力：据我们所知，在单核上比最佳已发表基准快60%，在多核上快250%，且具有良好的线性扩展。与Tesla V100 GPU相比，单核性能保持约10%的优势。我们还证明了使用低精度算术——bfloat16——不会影响模拟结果的正确性。
引用
@article{arxiv.1903.11714,
title = {High Performance Monte Carlo Simulation of Ising Model on TPU Clusters},
author = {Kun Yang and Yi-Fan Chen and Georgios Roumpos and Chris Colby and John Anderson},
journal= {arXiv preprint arXiv:1903.11714},
year = {2019}
}
备注
26 pages, 8 figures, 7 tables. Results (excluding new results in 7.2) published in ACM SC2019 Proceedings: ACM ISBN 978-1-4503-6229-0/19/11. https://doi.org/10.1145/3295500.3356149