两全其美：高性能交互式与批处理式作业启动
分布式、并行与集群计算
2021-09-08 v1
摘要
快速启动数千个作业对于高效的交互式超级计算、大数据分析与 AI 算法开发至关重要。实现每秒数千次启动需要硬件可用于接收这些作业。本文提出一种在 MIT SuperCloud 系统上实现 spot 作业的新型抢占式方法，使得资源在运行长时批处理作业的同时仍可为交互式作业提供快速启动，从而被充分利用。新方法将作业抢占与调度操作分离，与使用标准调度器提供的基于自动抢占的能力相比，在带抢占的作业调度上可实现 100 倍更快的性能。结果表明，新方法能以与所需计算资源空闲可用时相当的性能抢占式调度交互式作业。该 spot 作业能力可在不破坏交互式用户体验的情况下部署，同时提升整体系统利用率。
引用
@article{arxiv.2008.02223,
title = {Best of Both Worlds: High Performance Interactive and Batch Launching},
author = {Chansup Byun and Jeremy Kepner and William Arcand and David Bestor and Bill Bergeron and Vijay Gadepally and Michael Houle and Matthew Hubbell and Michael Jones and Andrew Kirby and Anna Klein and Peter Michaleas and Lauren Milechin and Julie Mullen and Andrew Prout and Antonio Rosa and Siddharth Samsi and Charles Yee and Albert Reuther},
journal= {arXiv preprint arXiv:2008.02223},
year = {2021}
}