Terra：命令式深度学习程序的命令式-符号式协同执行
机器学习
2022-01-25 v1 编程语言
摘要
命令式编程使用户能够轻松实现其深度神经网络（DNN），并已成为近期深度学习（DL）框架的重要组成部分。近来，已有若干系统被提出，以结合命令式编程的易用性与符号图执行的优化性能。此类系统将命令式 Python DL 程序转换为优化的符号图并执行它们。然而，它们无法完全支持命令式编程的易用性。例如，若命令式 DL 程序包含没有对应符号表示的 Python 特性（如第三方库调用或不支持动态控制流），它们便无法执行该程序。为克服此限制，我们提出 Terra，一种命令式-符号式协同执行系统，能够处理任意命令式 DL 程序，同时实现符号图执行的优化性能。为此，Terra 通过将 DL 操作与 Python 特性解耦来构建符号图。随后，Terra 进行命令式执行以支持所有 Python 特性，同时将解耦的操作委托给符号式执行。我们使用针对若干 DNN 架构的十个命令式 DL 程序评估了 Terra 的性能提升与覆盖率。结果表明，Terra 能够加速所有十个命令式 DL 程序的执行，而最先进系统之一的 AutoGraph 无法执行其中五个。
引用
@article{arxiv.2201.09210,
title = {Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning Programs},
author = {Taebum Kim and Eunji Jeong and Geon-Woo Kim and Yunmo Koo and Sehoon Kim and Gyeong-In Yu and Byung-Gon Chun},
journal= {arXiv preprint arXiv:2201.09210},
year = {2022}
}
备注
35th Conference on Neural Information Processing Systems (NeurIPS 2021)