百亿亿次级门槛处的高性能优化
分布式、并行与集群计算
2021-06-23 v1
摘要
对处理速度潜力的追求。事实上，我们总是只能获得技术可用算力（所谓{\em 理论峰值}）的一部分，且该差距很可能随目标系统的硬件复杂度而同步增大。此复杂度的关键方面包括：计算单元的{\em 异构性}、含非一致内存访问(NUMA)配置在内的{\em 内存层次与分区}，以及计算节点间数据交换的{\em 互连}。科学研究与前沿技术活动理想上应随持续性能而扩展。求解（大规模）问题的定量方法这一特例值得特别关注。的确，即便考虑人工智能范式，大多数常见现实问题仍依赖优化技术以实现算法解的核心内核。数学规划与纯组合方法因{\em 不规则控制流}、{\em 复杂内存访问模式}、{\em 异构内核}、{\em 数值问题}等因素，难以在大规模超级计算机上高效实现。我们从大规模超级计算机的角度阐述并检视我们的思考。
引用
@article{arxiv.2106.11819,
title = {High Performance Optimization at the Door of the Exascale},
author = {Claude Tadonki},
journal= {arXiv preprint arXiv:2106.11819},
year = {2021}
}