迈向 ML 工程：TensorFlow Extended (TFX) 简史
软件工程
2020-10-09 v2 机器学习
摘要
软件工程作为一门学科，在过去的 5 个多十年中已趋于成熟。现代世界严重依赖它，因此软件工程成熟度的提升是必然之事。测试与可靠技术等实践有助于使软件工程足够可靠，从而在其上构建产业。与此同时，机器学习（ML）在过去 2 个多十年中也不断发展。ML 越来越多地用于研究、实验与生产工作负载，如今普遍为对我们生活至关重要的广泛使用产品提供动力。但 ML 工程作为一门学科，尚未像其软件工程前辈那样广泛成熟。我们能否汲取既有经验，帮助应用 ML 这一新生领域演化为 ML 工程，正如编程演化为软件工程 [1]？本文中我们将简要介绍 Sibyl [2] 与 TensorFlow Extended (TFX) [3]——Alphabet 旗下两个相继的端到端（E2E）ML 平台。我们将分享基于这些平台十余年应用 ML 的经验教训，解释其异同，并阐述在我们历程中助益我们的（思维与技术上的）转变。此外，我们将强调 TFX 的一些有助于实现 ML 工程若干方面的能力。我们认为，为释放 ML 可带来的收益，组织应通过投资稳健的 ML 基础设施与推广 ML 工程教育来提升其 ML 团队的成熟度。我们还建议，在聚焦于前沿 ML 建模技术之前，产品负责人应投入更多时间为其组织采用可互操作的 ML 平台。最后，我们也将展望 TFX 的未来。
引用
@article{arxiv.2010.02013,
title = {Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)},
author = {Konstantinos and Katsiapis and Abhijit Karmarkar and Ahmet Altay and Aleksandr Zaks and Neoklis Polyzotis and Anusha Ramesh and Ben Mathes and Gautam Vasudevan and Irene Giannoumis and Jarek Wilkiewicz and Jiri Simsa and Justin Hong and Mitch Trott and Noé Lutz and Pavel A. Dournov and Robert Crowe and Sarah Sirajuddin and Tris Brian Warkentin and Zhitao Li},
journal= {arXiv preprint arXiv:2010.02013},
year = {2020}
}
备注
16 pages