宏大幻象：软件可移植性神话及其对机器学习进展的影响
软件工程
2023-09-15 v1 机器学习
摘要
推进机器学习前沿往往需要探索不同的硬件与软件组合。然而，跨不同工具栈进行实验的自由，可能与对效率的追求相冲突；后者催生了日益专用的 AI 硬件，并激励围绕狭窄的 ML 框架集合进行整合。若软件与硬件协同演化，探索性研究便会受限，使得偏离与主流工具栈适配良好的主流思想更加困难。尽管这种摩擦日益影响机器学习的创新速度，但据我们所知，工具缺乏可移植性尚未被量化。本工作中，我们提问：主流 ML 软件框架的可移植性如何？我们对主流 ML 框架跨不同硬件类型的可移植性开展了大规模研究。我们的发现描绘了一幅令人不安的图景——框架移植到其他硬件时可能丢失逾 40% 的关键功能。更糟的是，即便功能可移植，其性能放缓也可能极为严重，以致性能不可接受。总体而言，我们的结果揭示了偏离狭窄硬件—软件组合的高昂代价，并表明硬件专用化阻碍了机器学习研究的创新。
引用
@article{arxiv.2309.07181,
title = {The Grand Illusion: The Myth of Software Portability and Implications for ML Progress},
author = {Fraser Mince and Dzung Dinh and Jonas Kgomo and Neil Thompson and Sara Hooker},
journal= {arXiv preprint arXiv:2309.07181},
year = {2023}
}
备注
28 pages, 13 figures, repo can be found at associated https://github.com/for-ai/portability