PyGlove：将机器学习思想高效地交换为代码
机器学习
2023-02-06 v1 符号计算
摘要
机器学习（ML）日益增长的复杂性和规模导致了对多个团队之间更高效协作的需求。例如，当一个研究团队发明了一种如“ResNet”的新架构时，理想情况下多个工程团队都能采用它。然而，每个团队研究和理解该发明所需的工作量并不能随着团队或发明数量的增加而良好扩展。在本文中，我们介绍了 PyGlove 库的一个扩展，用于轻松且可扩展地分享机器学习思想。PyGlove 将思想表示为基于符号规则的补丁，使研究人员能够为他们未曾见过的模型编写规则。例如，一个发明者可以编写规则来“添加跳跃连接”。这允许团队之间产生网络效应：任何团队都可以立即向所有其他团队发布补丁。这种网络效应使用户能够通过更快地编写更少的代码来迅速克服采用 PyGlove 的成本，从而提供随时间扩展的收益。我们描述了通过符号补丁组织机器学习的新范式，并将其与现有方法进行了比较。我们还对一个大型代码库进行了案例研究，其中 PyGlove 使代码行数减少了 80%。
引用
@article{arxiv.2302.01918,
title = {PyGlove: Efficiently Exchanging ML Ideas as Code},
author = {Daiyi Peng and Xuanyi Dong and Esteban Real and Yifeng Lu and Quoc V. Le},
journal= {arXiv preprint arXiv:2302.01918},
year = {2023}
}
备注
8 pages, 10 figures, 1 table